ページ

2014年1月24日金曜日

AIC導出のABC(その3)

やあ、みんな。

前回までのあらすじだよ。ターゲットとなる統計分布pを真の分布qと経験分布rの2つの視点から評価すると、平均対数尤度の見積りに差(バイアス)が生じることが分かったんだった。

そのバイアスはこんなふうに書ける。


\[
\mbox{tr} \left[ H E_{q}(\hat{\theta_{x}} - \hat{\theta_{0}}) (\hat{\theta_{x}} - \hat{\theta_{0}})^{t} \right]
\]

今回は、最尤推定量の性質(漸近分布のパラメータ)を用いて、上の式を変形するよ。


C 最尤推定量の従う漸近分布

ここではよく知られている事実のみ書くね。最尤推定量θxはサンプル数が無限大のとき、正規分布に近づいていくよ。その平均はθoになる。

分散(のn倍)は次のようなものになるよ。

\[
E_{q}(\hat{\theta_{x}} - \hat{\theta_{0}}) (\hat{\theta_{x}} - \hat{\theta_{0}})^{t} = H^{-1} G H^{-1}
\]

ここで、Gは次のような行列だよ。


\[
G = \left( \left. \frac{\partial L(q,p_{x}(\theta))}{\partial \theta_{i}} \right|_{\theta=\hat{\theta_{0}}} \left. \frac{\partial L(q,p_{x}(\theta))}{\partial \theta_{j}} \right|_{\theta=\hat{\theta_{0}}} \right)
\]

ちなみにHはこちら。

\[
H = \left( \left. \frac{\partial^{2} L(q,p_{x}(\theta))}{\partial \theta_{i} \partial \theta_{j}} \right|_{\theta=\hat{\theta_{0}}} \right)
\]

これを上のバイアスの式に代入すると、こうなる。

\[
\mbox{tr} \left[ GH^{-1} \right]
\]

で、一般にはG=Hじゃないけど、もしG=Hになるんだとしたら、トレースの中は単位行列になる。

\[
\mbox{tr} \left[ I \right]
\]

というわけでバイアスはパラメータ数になるというわけ。これがAICと呼ばれるものだね。

もしG=Hにならないときは、G,Hの計算で真の分布qを経験分布rで置き換えて上のトレースを計算する。これが竹内の情報量基準TICと呼ばれるものだよ。

ここまででAIC導出のABCは終わり。次は具体例を幾つか示してみるよ。

じゃあ、またね。