ページ

2014年1月21日火曜日

AIC導出のABC(その2)

やあ、みんな。

その1に引き続きAIC導出の解説をするよ。今回はBセクション。

前回のおさらいをしておこうね。期待対数尤度関数について、その二次までのテイラー展開を作ったんだったね。これにより、パラメータ空間上で上に凸の曲面が得られたわけなんだ。

今回は、真の確率分布qではなくて、経験分布rという別の確率分布から見た評価を考えてみるよ。


B 平均対数尤度のバイアス算出

B.1 経験分布

経験分布rは次のような密度関数で表現される分布だよ。ここでδはディラックのデルタ関数。

\[
r(x) = \frac{1}{n} \sum_{i=1}^{n} \delta (x-x_{i})
\]

B.2 rとqから見たp

次に前回と同じくrから見たpの期待対数尤度関数を表現するよ。

\[
L(r,p_{x}(\theta)) = L(r,p_{x}(\hat{\theta_{x}})) + \frac{1}{2}(\theta - \hat{\theta_{x}})^{t} H^{\prime} (\theta - \hat{\theta_{x}})
\]

ちなみに前回の式はこう。

\[
L(q,p_{x}(\theta)) = L(q,p_{x}(\hat{\theta_{0}})) + \frac{1}{2}(\theta - \hat{\theta_{0}})^{t} H (\theta - \hat{\theta_{0}})
\]

次。上の式のθにθ0を代入、下の式のθにθxを代入して相互参照して見る。

\[
L(r,p_{x}(\hat{\theta_{0}})) = L(r,p_{x}(\hat{\theta_{x}})) + \frac{1}{2}(\hat{\theta_{0}} - \hat{\theta_{x}})^{t} H^{\prime} (\hat{\theta_{0}} - \hat{\theta_{x}})
\]
\[
L(q,p_{x}(\hat{\theta_{x}})) = L(q,p_{x}(\hat{\theta_{0}})) + \frac{1}{2}(\hat{\theta_{x}} - \hat{\theta_{0}})^{t} H (\hat{\theta_{x}} - \hat{\theta_{0}})
\]

B.3 期待値計算

次に、二つの式について、真の分布qを使って期待値を計算してみる。

下の式からやってみると、左辺は変化なし、右辺第一項も変化なし。右辺第二項はこんなふうになる。

\[
\frac{1}{2} \mbox{tr} \left[ H E_{q}(\hat{\theta_{x}} - \hat{\theta_{0}}) (\hat{\theta_{x}} - \hat{\theta_{0}})^{t} \right]
\]

次に上の式。左辺は、次のように変化。

\[
L(r,p_{x}(\hat{\theta_{0}})) \to L(q,p_{x}(\hat{\theta_{0}}))
\]

右辺第一項は次のように変化。
\[
L(r,p_{x}(\hat{\theta_{x}})) \to E_{q} [ L(r,p_{x}(\hat{\theta_{x}})) ]
\]

右辺第二項は、

\[
\frac{1}{2} \mbox{tr} \left[ H E_{q}(\hat{\theta_{x}} - \hat{\theta_{0}}) (\hat{\theta_{x}} - \hat{\theta_{0}})^{t} \right]
\]

と、下の式の第二項と同じになる。

整理すると、

\[
L(q,p_{x}(\hat{\theta_{0}})) = E_{q} [L(r,p_{x}(\hat{\theta_{x}}))] + \frac{1}{2} \mbox{tr} \left[ H E_{q}(\hat{\theta_{x}} - \hat{\theta_{0}}) (\hat{\theta_{x}} - \hat{\theta_{0}})^{t} \right]
\]
\[
L(q,p_{x}(\hat{\theta_{x}})) = L(q,p_{x}(\hat{\theta_{0}})) + \frac{1}{2} \mbox{tr} \left[ H E_{q}(\hat{\theta_{x}} - \hat{\theta_{0}}) (\hat{\theta_{x}} - \hat{\theta_{0}})^{t} \right]
\]

上と下を足すと、

\[
L(q,p_{x}(\hat{\theta_{x}})) = E_{q} [L(r,p_{x}(\hat{\theta_{x}}))] + \mbox{tr} \left[ H E_{q}(\hat{\theta_{x}} - \hat{\theta_{0}}) (\hat{\theta_{x}} - \hat{\theta_{0}})^{t} \right]
\]

B.4 結論

経験分布から求めた平均対数尤度(いわゆる対数尤度)はバイアスがある(大きく見積もり過ぎている)。そのバイアスの大きさは、

\[
\mbox{tr} \left[ H E_{q}(\hat{\theta_{x}} - \hat{\theta_{0}}) (\hat{\theta_{x}} - \hat{\theta_{0}})^{t} \right]
\]

じゃあ、またね。