重要度采样

主要：该方法从与原分布不同的另一个分布中采样，而对原先分布的性质进行估计

重要度采样的推导

首先利用一个随机变量 $X$ 的多个样本值 $\{x_i\}$ ，构造期望值估计：

$\hat E[X,P] = \frac{1}{n} \sum_{i=1}^n x_i$

$X$ :随机变量

$x_i$ ： $X$ 样本值。

$P$ : $X$ 的分布。

这个期望的精确度和 $X$ 的方差有关：

$var [\hat E ; P] = var [X;P]/n$

为了降低方差，我们引入一个新的随机变量 $L$ ，保证 $E[L;P]=1$ 得到：

$\hat E [X; P] = \hat E [\frac{X}{L} ; P^{(L)}]$

$L$ 的作用就是降低对 $X$ 的方差，来达到降低 $\hat E$ 的误差的目的。

最优的 $L$ 为 $L^* = \frac{X}{E[X;P]}$ ,也就是说， $L$ 把 $X$ 变成了一个常量。

此时，要求的期望值变为：

$E[X;P] = \frac{X}{ L^*}$

但是理论上无法求得 $L*$ ，所以需要进行估计，在很小的一段区间( $[a; a + da]$ )上 $L^*$ 的概率为:

$P^{(L^*)}(X \in [a; a+ da]) = \int_{w \in \{ X \in a;a+da \} } \frac{X_w}{E[x;P]} dP(w)$

实际过程我们无法的到最优化的 $L*$ ，可以用如下方式逼近

$= \frac{1}{E[X;P]} aP(X \in [a; a+ da])$

上式的意思是一段区间里面 $L^*$ 的积分值。

由于 $L^*$ 的期望等于1：

$1 = \int_{a = -\infty}^{\infty} \frac{1}{E[X;P]} aP(X \in [a; a+ da])$

此时期望变为：

$E[X;P] = \int_{a = -\infty}^{\infty} aP(X \in [a; a+ da])$