連続時間マルコフ連鎖に関する覚え書き

連続時間マルコフ連鎖

ある連続変数（時間）$t$上で定義された確率変数$X_t$を考える。ここでは、変数$X$は離散化された（可算個の）状態をとることにする。

定義など

確率変数$X_t$が次の性質を満たすときに、確率変数$X_t$は連続時間マルコフ連鎖であると言う。

$$P(X_{t+s}=j|X_s=i, X_{s_n}=i_n, X_{s_{(n-1)}}=i_{(n-1)},\cdots, X_{s_0}=i_0 ) = P(X_{t+s}=j|X_s=i)$$

つまり、$t$時間後の状態は、現時点の状態だけで決まっている。

また、時間について一様であるとし、 $p_t(i,j)\equiv P(X_{t+s}=j|X_s=i)$と書く。

Chapman-Kolmogorovの式

$$\sum_k p_s(i,k)p_t(k,j) = p_{s+t}(i,j)$$ が成立する。証明は容易。 時間$0<t<t_0$の間の$p_t(i,j)$が分かれば、Chapman-Kolmogorovの式を利用して、任意の時刻まで時間発展させることができる。 これを、微分的な描像にしたい。

Jump rateの定義

$j\neq i$ に対して $$q(i,j) = \lim_{h\rightarrow0}\frac{p_h(i,j)}{h}$$ をjump rateと定義する。単位時間あたりの遷移確率になっている。 また、 $$\lambda_i = \sum_{j\neq i}q(i,j)$$ と定義しておく。

Jump rate と$p_s(i,j)$の関係式の導出

Chapman-Kolmogorovの式を変形する。 $$p_{t+h}(i,j)-p_t(i,j)=\sum_k p_h(i,k)p_t(k,j)-p_t(i,j)$$ $$p_{t+h}(i,j)-p_t(i,j)=\sum_{k\neq i} p_h(i,k)p_t(k,j)-(1-p(i,i)) p_t(i,j)$$ この両辺を$h$で割って$h\rightarrow0$とする。 簡単な計算から、 $$p'(i,j)=\sum_{k\neq i} q(i,k)p_t(k,j)-\lambda_i p_t(i,j)$$ となることが示される。 ここで、行列$Q$を、$i\neq j$に対して、$Q(i,j)=q(i,j)$、$i=j$に対しては、$Q(i,i)=-\lambda_i$と定義する。すると、以下のKolmogorov's backward eqationが導出される。 なお、この$Q$は、rate matrix やtransition rate matrixとよばれることが多い。日本語では、推移速度行列とう訳語が見受けられる。

Kolmogorov's backward (forward) equation

$$p'_t = Q p_t$$ Kolmogorov's backward equationと呼ぶ。 ただし、$p'_t$は$p'_t(i,j)$を$i$,$j$成分とする行列である。もしも、単位時間あたりの遷移確率$Q$を知っていれば、この方程式をとくことで任意時刻での$p_t$を計算できる。 なお、形式解は容易に、 $$p_t = p_0\exp(Qt)$$ と求まる。

また、同様の計算をすることで、 $$p'_t = p_tQ$$ という関係式も導出可能である。つまり、 $p_t$と$Q$は可換な行列である。

Master 方程式への帰着

まず、あきらかに、 $$P(X_{t} = j) = \sum_i P(X_{0} = i) p_t(i,j)$$ が成立する。この両辺の微分をとる。 $$\frac{dP(X_{t} = j)}{dt} = \sum_i P(X_{0} = i) p'_t(i,j)$$ となり、 $$\frac{dP(X_{t} = j)}{dt} = \sum_{i,k} P(X_{0} = i) p_t(i,k)Q(k,j)$$ 直ちに、マスター方程式 $$\frac{dP(X_{t} = j)}{dt} = \sum_{k}P(X_{t} = k) Q(k,j)$$ が得られる。

簡単なマスター方程式の例と解

分子Aが分解して分子Bに不可逆変化するとする。AからBへの分解の速度定数を$k$とおく。 $$\frac{d[A]}{dt} = -k [A]$$ $$\frac{d[B]}{dt} = +k [A]$$ $[A]+[B]$で両辺をわり、$P_A=[A]/([A]+[B])$などと 定義すると $$P'_A=-kP_A$$ $$P'_B=+kP_A$$ ここで、$P=(P_A,P_B)$とし、 $$Q = \left( \begin{array}{cc} -k & k \\ 0 & 0 \end{array} \right)$$ とすると、 $$P'=PQ$$ となり、マスター方程式に帰着される。

一般に、線形微分方程式は、$C\exp(kx)$の形の解をもつ。 今回のマスター方程式は線形微分方程式である。$C\exp(kx)$を マスター方程式に代入し、係数を比較する。 この問題では、 係数Cが横ベクトルとなることに注意すると $$Ck=CQ$$ が得られる。 これは、固有値問題に他ならない。

二つの固有値は、容易に、$-k,0$と求まる。 固有値$-k$に対する固有ベクトルは、$C_1(1,-1)$と求まる。 固有値$0$に対する固有ベクトルは、$C_2(0,1)$と求まる。但し、$C_1$, $C_2$は任意の定数である。

よって、$P$の一般解は、 $$P(t)=C_1(1,-1)\exp(-kt) +C_2(0,1)$$ と求まった。 $C_1=C_2=1$の特殊解は、 $$P_A(t)=\exp(-kt)$$ $$P_B(t)=1-\exp(-kt)$$ と求まる。

この解法は、マスター方程式が線形でさえあれば、高次元でも可能である。 つまり、線形のマスター方程式の一般解を求める問題は、行列の固有値問題にいつでも帰着できる。

マスター方程式から離散時間マルコフ連鎖

$$\frac{dP(X_{t} = j)}{dt} = \sum_{k}P(X_{t} = k) Q(k,j)$$ の両辺を微小な時間$\Delta t$で積分することを考える。 操作としては、両辺$\Delta t$を掛けて、$P(X_t=j)$を加える。 $$\frac{dP(X_{t} = j)}{dt}\Delta t +P(X_t=j) = \sum_{k}P(X_{t} = k) \Delta tQ(k,j) + P(X_t=j)$$

左辺は、$P(X_{t+\Delta t} =j)$と見なすことが出来る。

ここで、$i\neq j$にたいして、 $p(i,j)=q(i,j)\Delta t$ また、$i = j$にたいして、 $p(i,i)=1+\lambda_i\Delta t= 1-\sum_jp(i,j)$と$p(i,j)$を定義しておく。 右辺は、 $$=\sum_{k\neq j}P(X_{t} = k) \Delta tQ(k,j) + (1+\lambda_j\Delta t)P(X_t=j)$$ $$=\sum_{k\neq j}P(X_{t} = k) \Delta tQ(k,j) + (1+\lambda_j\Delta t)P(X_t=j)$$ $$=\sum_{k}P(X_{t} = k) p(k,j)$$ となる。 まとめると、 $$P(X_{t+\Delta t} =j) = \sum_{k}P(X_{t} = k) p(k,j)$$ がなりたつ。 これは、時間発展を$\Delta t$毎に行ったことに対応する。 $t=n\Delta t$とすると、 $$P(X_{(n+1)\Delta t} =j) = \sum_{k}P(X_{n\Delta t} = k) p(k,j)$$ とかけるが、定数である$\Delta t$をあらわに書かないことにすれば、 $$P(X_{(n+1)} =j) = \sum_{k}P(X_{n} = k) p(k,j)$$ となり、離散的な変数$n$に対して定義された確率変数$X_n$に対する方程式であり、 いわゆる、離散時間マルコフ連鎖の式となっている。

参考文献

• R. Durrett, "Essentials of Stochastic Processes" (Springer).