ページ

2014年1月27日月曜日

正規分布のAIC(その1)

やあ、みんな。

AICの導出についてはもう説明したけど、具体的な例(正規分布)に即して説明してみるよ。

今回の参考文献はこれ。 →

真の分布をqとするよ。

\[
q:x \sim N(\lambda,\tau^{2})
\]

ターゲットとするモデルをpとするよ。

\[
p:x \sim N(\mu,\sigma^{2})
\]

期待対数尤度は、

\[
L(q,p)= E_{q}\left( - \frac{1}{2} \log 2\pi \sigma^{2} - \frac{1}{2\sigma^{2}}(x-\mu)^{2} \right)
\]
\[
=-\frac{1}{2} \log 2 \pi \sigma^{2} - \frac{1}{2\sigma^{2}} E_{q} (x - \mu)^{2}
\]

ところで、

\[
E_{q}(x - \mu)^{2} = E_{q}(x - \lambda + \lambda - \mu)^{2}
\]
\[
=E_{q}\{ (x-\lambda)^{2} + 2(x-\lambda)(\lambda-\mu) + (\lambda-\mu)^{2} \}
\]
\[
=E_{q}(x-\lambda)^{2} + 2(\lambda - \mu)E_{q}(x-\lambda) + (\lambda-\mu)^{2}
\]
\[
=\tau^{2} + (\lambda-\mu)^{2}
\]

だから、

\[
L(q,p) = -\frac{1}{2} \log 2\pi \sigma^{2} - \frac{\tau^{2}+(\lambda-\mu)^{2}}{2\sigma^{2}} \equiv L_{q}(\mu,\sigma^{2})
\]

μについては上に凸の二次関数、ってことは簡単に分かるけど、σ2についてはどうなんだろうね。μ=λのところで断面を書いてみると、こんな感じになる。

\[
L_{1} = -\frac{1}{2} \log 2 \pi \sigma^{2} - \frac{\tau^{2}}{2\sigma^{2}}
\]

ついでに二次までのテイラー展開は、
\[
L_{2} = -\frac{1}{2} \left[ 1 + \log 2 \pi \tau^{2} + \left( \frac{\sigma^{2}}{\tau^{2}} - 1\right)^{2} \right]
\]

続く

じゃあ、またね。