ページ

2014年1月29日水曜日

正規分布のAIC(その3)

やあ、みんな。

前回までは、真の分布qから見たターゲット分布pの期待対数尤度を求めてみたよ。次は、経験分布rから見たターゲット分布pの期待対数尤度を見るよ。

rが経験分布。その密度関数は下のようになるよ。
\[
g(x)=\frac{1}{n} \sum_{i=1}^{n} \delta(x-x_{i})
\]

期待対数尤度は、
\[
L(r,p)=E_{r}\left( -\frac{1}{2}\log 2\pi \sigma^{2} - \frac{1}{2\sigma^{2}}(x-\mu)^{2} \right)
\]
\[
=-\frac{1}{2}\log 2\pi \sigma^{2} - \frac{1}{2\sigma^{2}}E_{r}(x-\mu)^{2}
\]
ところで、
\[
E_{r}(x-\mu)^{2}=\int^{\infty}_{-\infty}(x-\mu)^{2} g(x)dx = \frac{1}{n} \sum_{i=1}^{n} (x_{i} - \mu)^{2}
\]
だから、
\[
L(r,p)=-\frac{1}{2}\log 2\pi \sigma^{2} - \frac{1}{2n\sigma^{2}}\sum_{i=1}^{n} (x_{i} - \mu)^{2} \equiv L_{r}(\mu,\sigma^{2})
\]
これは普通の対数尤度をnで割ったものだよ。μとσについて上の凸の関数になっているのが分かるね。これの極大値を計算すると、
\[
\mu_{r} = \frac{1}{n} \sum_{i=1}^{n} x_{i} \equiv \overline{x}
\]
\[
\sigma^{2}_{r} = \frac{1}{n}\sum_{i=1}^{n} (x_{i} - \overline{x})^{2} \equiv \overline{s}^{2}
\]
\[
\max L_{r} = -\frac{1}{2} \log 2 \pi \overline{s}^{2} - \frac{1}{2}
\]

次回はqから見た場合とrから見た場合のpの期待対数尤度の相互の位置関係を考察するよ。
じゃあ、またね。