20190825

Approximation

各点収束

$\{f_n\}_{n \in \mathbb{N}} \to f \quad (n \to \infty)$
十分大きな$n$で，$f \approx f_n$．

確率収束

$P_X(\{x \in \mathcal{X} | |f_n(x) - f(x)| > \epsilon\}) \to 0 \quad (n \to \infty)$
十分大きな$n$で$f \approx f_n$．

sample approximation and empirical distribution

average:

$\begin{aligned} f_n(x_1, \ldots, x_n) = \frac{1}{n} \sum_{i=1}^n x_i \end{aligned}$

empirical distribution

$\begin{aligned} D(x_1, \ldots, x_n)(\cdot)= \frac{1}{n} \sum_{i=1}^n \delta_{x_i}(\cdot) \end{aligned}$

sample approximation

以下の正当性を確認する．

$\begin{aligned} \mathbb{E}_{P_X}[f] \approx \frac{1}{n} \sum_{i=1}^n f(x_i) =: f_n(x_1, \ldots, x_n) \end{aligned}$

sample: $S: \omega \mapsto (X_1(\omega), \ldots, X_n(\omega))$

$f_n$を確率変数化: $f_n(S) = f_n \circ S$

$P_{S} \left(\left\{x \in \mathcal{X}^n | |f_n(x_1, \ldots, x_n) - \mathbb{E}_{P_X}[f]| > \epsilon\right\}\right) \to 0 \quad (n \to \infty)$を示す．

チェビシェフの不等式

$\begin{aligned} P_{S} \left(\left\{x \in \mathcal{X}^n | |f_n(x_1, \ldots, x_n) - \mathbb{E}_{P_S}[f_n] | \geq \epsilon\right\}\right) \leq \frac{\mathbb{V}_{P_S}[f_n]}{\epsilon^2} \end{aligned}$

を使う．

$\begin{aligned} \mathbb{E}_{P_S}[f_n] &= \mathbb{E}_{P} [f_n(S)] \\ &= \mathbb{E}_{P} \left[\frac{1}{n}\sum_{i=1}^n f(X_i)\right] \\ &= \frac{1}{n}\sum_{i=1}^n \mathbb{E}_{P} \left[f(X_i)\right] \\ &= \frac{1}{n}\sum_{i=1}^n \mathbb{E}_{P_{X_i}} \left[f\right] \\ &= \mathbb{E}_{P_{X}} \left[f\right] \end{aligned}$

$\begin{aligned} \mathbb{V}_{P_S} \left[f_n\right] &= \mathbb{V}_{P} \left[f_n(S)\right] \\ &= \mathbb{V}_{P} \left[\frac{1}{n}\sum_{i=1}^n f(X_i)\right]\\ &= \frac{1}{n^2} \sum_{i=1}^n \mathbb{V}_{P} \left[f(X_i)\right] \\ &= \frac{1}{n^2} \sum_{i=1}^n \mathbb{V}_{P_{X_i}} \left[f\right] \\ &= \frac{\mathbb{V}_{P_{X}} \left[f\right]}{n} \end{aligned}$

よって，チェビシェフの不等式より，

$\begin{aligned} P_{S} \left(\left\{x \in \mathcal{X}^n | f_n(x_1, \ldots, x_n) - \mathbb{E}_{P_{X}} \left[f\right] | \geq \epsilon\right\}\right) \leq \frac{\mathbb{V}_{P_{X}} \left[f\right]}{n\epsilon^2} \end{aligned}$

よって，$P_{S} \left(\left\{x \in \mathcal{X}^n | f_n(x) - \mathbb{E}_{P_{X}} \left[f\right] | \geq \epsilon\right\}\right) \to 0 \quad (n \to \infty)$．つまり，$f_n$は$\mathbb{E}_{P_X}[f]$に確率収束する．

というわけで，十分大きな$n$で，$f \approx f_n$．ただし，$\{x_i\}_{i=1}^n$は，i.i.d. mannerでサンプリングする．

sampling

TODO: サンプリングって結構なぞなのでまた考える．

conditional probability and conditional expectation

この章はまだきちんと理解できてないので，後々解釈が変わると思う．

conditional probability (as a measure):

$\begin{aligned} P_{Y|X}(\cdot | A) = \frac{P_{X, Y}(A \times \cdot)}{P_X(A)} \end{aligned}$

これは，測度．

conditional probability:

$\begin{aligned} P_{Y|X}(\cdot | \mathcal{A})(\omega) = \sum_{A \in \mathcal{A}} P_{Y|X}(\cdot | A) 1_{A} (\omega) \end{aligned}$

これは，測度を値にもつ関数．確率変数と言ってもいいかは現時点では不明．

conditional expectation

$\begin{aligned} E \left[Y | \mathcal{A}\right](\omega) = \mathbb{E}_{P_{Y|X}(\cdot | \mathcal{A})(\omega)} \left[Y\right] \end{aligned}$

ちょっと離散型の場合だけ考えておく．$Y$を離散型確率変数として，以下のように定義する．

$\begin{aligned} Y(\omega) = \sum_{j=1}^m b_j 1_{B_j}(\omega) \end{aligned}$

このとき，条件付き期待値は，

$\begin{aligned} E \left[Y | \mathcal{A}\right](\omega) = \sum_{j=1}^m b_j P_{Y|X}(B_j | \mathcal{A})(\omega) \end{aligned}$

いい感じな気がする．この辺は難しいので具体的な例をあげて考えていきたい．次の日に持ち越し．