转移矩阵计算公式

一维转移矩阵

对于一维转移矩阵，假设有 \( n \) 个状态，转移矩阵 \( P \) 的元素 \( p_{ij} \) 表示从状态 \( i \) 转移到状态 \( j \) 的概率。

计算公式：

\[ p_{ij} = \begin{cases}

1 & \text{如果 } i = j \\

p & \text{如果 } i \neq j \text{ 且 } \sum_{k=1}^{n} p_{ik} = 1 \\

0 & \text{其他情况}

\end{cases} \]

其中，\( p \) 是从状态 \( i \) 转移到其他任意状态的概率。

多维转移矩阵

对于多维转移矩阵，假设有 \( m \) 个状态，每个状态可以有多个子状态。转移矩阵 \( P \) 的大小为 \( m \times m \)，每个元素 \( p_{ij} \) 表示从状态 \( i \) 转移到状态 \( j \) 的概率。

计算公式：

\[ p_{ij} = \begin{cases}

1 & \text{如果 } i = j \\

p & \text{如果 } i \neq j \text{ 且 } \sum_{k=1}^{m} p_{ik} = 1 \\

0 & \text{其他情况}

\end{cases} \]

马尔可夫链的稳态分布

如果一个马尔可夫链是可逆的，并且所有状态都是正则的（即每个状态都有正的概率转移到其他状态），那么它有一个稳态分布，即长期状态分布 \( \pi \)。稳态分布满足以下方程：

\[ \pi P = \pi \]

其中，\( \pi \) 是一个列向量，其元素 \( \pi_i \) 表示在稳态时处于状态 \( i \) 的概率。

矩阵求幂

在计算转移矩阵的长期行为时，我们经常需要计算矩阵的幂。例如，\( P^n \) 表示经过 \( n \) 次转移后的状态转移概率。

计算公式：

\[ P^n = \begin{pmatrix}

p_{11}^n & p_{12}^n & \cdots & p_{1n}^n \\

p_{21}^n & p_{22}^n & \cdots & p_{2n}^n \\

\vdots & \vdots & \ddots & \vdots \\

p_{m1}^n & p_{m2}^n & \cdots & p_{mn}^n

\end{pmatrix} \]

通过计算 \( P^n \)，我们可以得到在经过 \( n \) 次转移后，系统处于每个状态的概率。