Цепь Маркова с двумя состояниями можно описать с помощью матрицы переходов. Пусть состояния обозначаются как ( S_1 ) и ( S_2 ). Матрица переходов может быть представлена в следующем виде:

[
P = \begin{pmatrix}
p{11} & p{12} \
p{21} & p{22}
\end{pmatrix}
]

где ( p_{ij} ) — это вероятность перехода из состояния ( S_i ) в состояние ( Sj ), с условиями ( p{11} + p{12} = 1 ) и ( p{21} + p_{22} = 1 ).

Для нахождения стационарного распределения необходимо решить уравнения:

[
\pi P = \pi
]
где ( \pi = (\pi_1, \pi_2) ) — вектор стационарного распределения, и ( \pi_1 + \pi_2 = 1 ).

Это дает систему уравнений:

( \pi1 p{11} + \pi2 p{21} = \pi_1 )( \pi1 p{12} + \pi2 p{22} = \pi_2 )

Из первого уравнения можно выразить ( \pi_1 ):

[
\pi1 (1 - p{11}) = \pi2 p{21} \implies \pi_1 = \frac{\pi2 p{21}}{1 - p_{11}} = \frac{\pi2 p{21}}{p_{12}}
]

Поскольку ( \pi_1 + \pi_2 = 1 ), подставим выражение для ( \pi_1 ):

[
\frac{\pi2 p{21}}{p_{12}} + \pi_2 = 1
]
[
\pi2 \left( \frac{p{21}}{p_{12}} + 1 \right) = 1
]
[
\pi2 = \frac{1}{\frac{p{21}}{p{12}} + 1} = \frac{p{12}}{p{12} + p{21}}
]

Теперь подставим ( \pi_2 ) обратно для получения ( \pi_1 ):

[
\pi_1 = 1 - \pi2 = 1 - \frac{p{12}}{p{12} + p{21}} = \frac{p{21}}{p{12} + p_{21}}
]

Таким образом, стационарное распределение имеет вид:

[
\pi = \left( \frac{p{21}}{p{12} + p{21}}, \frac{p{12}}{p{12} + p{21}} \right)
]

Устойчивость

Устойчивость цепи можно оценить по собственным значениям матрицы переходов. Если хотя бы одно собственное значение соответствует условию ( |\lambda| < 1 ) (где ( \lambda ) — собственное значение), это означает, что система будет стабильной в долгосрочной перспективе, т.е. перейдет к стационарному распределению.

Также, если цепь является необратимой и связной (то есть возможны переходы между любыми состояниями), стационарное распределение будет достигнуто независимо от начального распределения. Если же цепь не связная, то система может застрять в определенных состояниях и не достичь стационарного состояния для всех начальных условии.