ページ

2016年4月5日火曜日

【R】マルコフ解析の基礎(1)

4月に入り、当ブログでも統計解析に関して新しい連載を始めたいと思う。表題に「マルコフ解析の基礎」とあるが、時系列のパネルデータに対して、「マルコフ性」に注目した分析を行っていくことを意図している。最終的な目標は「復興ウォッチャー調査」のデータ解析に活用することである。それと同時にマルコフ・チェーンに関する文献に出てくる基礎的概念についても整理していきたい。

(注:時刻パラメータが離散=非負整数の場合をマルコフ連鎖:チェーン、連続=実数の場合をマルコフ過程と呼んでいる。)



マルコフ性とは:状態と推移確率

まずここで取り扱うデータは時系列データであることを前提とする。マルコフ性に関する概説で、必ずしも確率過程(=時刻パラメータを持つ確率変数の集合)であることは強要されないのだが、分かりやすさ優先でこのようにしておく。

今、離散時点で次のような複数の確率変数の間の関係を見よう。添え字のtは時刻パラメータである。Xを「状態」、Xの取り得る値の集合を「状態空間」と呼んでいる。
\[
X_{0} \to X_{1} \to \cdots \to X_{t-1} \to X_{t} \to X_{t+1}
\]
これに対して一般の確率過程では次のような条件付確率を考える。
\[
p\{X_{t}=j | X_{0}=i_{0}, \cdots, X_{t-1}=i_{t-1} \}
\]
つまり、過去の時点で状態がi(0)、i(1)、・・・i(t-1)という履歴をもっていたものが、時点tで状態がjとなる確率のことを指している。しかし、過去の履歴をすべて見るのは大変なので、直前の状態だけで考えるのが「マルコフ性」である。
\[
\begin{array}{l} p\{X_{t}=j | X_{0}=i_{0}, \cdots, X_{t-1}=i_{t-1} \} \\ = p\{X_{t}=j | X_{t-1}=i \} \\ \equiv p_{ij} \end{array}
\]
直前の状態だけを考えれば良いので、pijだけが大事である。これを「推移確率」と呼んでいる。これを状態空間すべてを網羅して並べると、推移確率行列が出来る。t時点の推移確率行列を、
\[
\boldsymbol{P}_{t}
\]
と表現する。また、s次の推移確率行列(tから始めてs回の推移を繰り返した推移確率行列)を次のように表現する。

\[
\boldsymbol{P}^{(s)}_{t} = \boldsymbol{P}_{t} \cdot \boldsymbol{P}_{t+1} \cdots \boldsymbol{P}_{t+s-1}
\]

斉時性:または推移確率の定常性

上に示したように推移確率はマルコフチェーンの範囲に限っても、一般にはその都度変化し得る。なので、さらに制約を厳しくして推移確率が定数であるとしてしまう。これが「推移確率の定常性」と呼ばれるものであり、そのようなマルコフチェーンを「斉時的マルコフチェーン」と呼んでいる。

斉時的マルコフチェーンの場合は、高次の推移確率行列は次のように確率行列の累乗で表現される。
\[
\boldsymbol{P}^{(s)} = \boldsymbol{P}^{s}
\]

チャップマン・コルモゴロフの等式

マルコフ・チェーンに関する基本等式の一つ。状態iから状態kに推移する過程をiからjまで、とjからkまでに分解して、中間のjについて全部集めるというものである。

\[
p_{ik}^{(t+s)} = \sum_{j} p_{ij}^{(t)} p_{jk}^{(s)}
\]

斉時的マルコフチェーンの場合は、
\[
\boldsymbol{P}^{(t+s)} = \boldsymbol{P}^{t+s} = \boldsymbol{P}^{t} \cdot \boldsymbol{P}^{s}= \boldsymbol{P}^{(t)} \cdot \boldsymbol{P}^{(s)}
\]
なので、行列の指数法則と同じ。

状態確率の式

時点tにおける状態(確率)分布の概念を導入する。ここでは状態空間を1,2・・・nとしている。
\[
\boldsymbol{\pi}_{t}=(q_{1t},q_{2t},\cdots,q_{nt})
\]

ここで事象と確率の関係を整理しておく。時点tで状態jにある事象を次のように表現する。
\[
H_{t}(j)
\]
またこの事象の確率は次のように表現される。
\[
q_{jt} = P(H_{t}(j))
\]
時点0でiだったものが時点tでjに移る(t次)推移確率は、
\[
p_{ij}^{t} = P(H_{t}(j)|H_{0}(i))
\]

次に時点tで状態jにある事象を、過去の0時点でどうだったか(i=1,2,・・・)で分類(分解)してみる。
\[
P(H_{t}(j)) = \sum_{i} P(H_{0}(i) \cap H_{t}(j))
\]
さらに右辺について、条件付確率の式より、
\[
P(H_{0}(i) \cap H_{t}(j)) = P(H_{0}(i)) P(H_{t}(j)|H_{0}(i))
\]
全部合わせて、
\[
q_{jt} = \sum_{i} q_{i0} p_{ij}^{(t)}
\]
ベクトル表記すると次のようになる。
\[
\boldsymbol{\pi}_{t} = \boldsymbol{\pi}_{0}\boldsymbol{P}_{0}^{(t)}
\]
斉時的マルコフチェーンの場合は、
\[
\boldsymbol{\pi}_{t} = \boldsymbol{\pi}_{0}\boldsymbol{P}^{t}
\]

まとめ

今回はマルコフ性について、基礎的なことをまとめてみた。次回は、マルコフ・チェーンの分類に関することを解説する。