Кратко и по делу.
1) Критерии эргодичности (конечная цепь):
- Цепь эргодична ⇔ она неразложима (irreducible) и апериодична (aperiodic).
- Неразложима: для любых состояний $i,j$ существует $n$ такое, что $(P^n{)}_{ij}>0$ (в графе с вершинами — состояния и дугами $i\to j$ при $p_{ij}>0$ граф сильносвязен).
- Период состояния $i$ определяется как $d(i)=\gcd \{n\ge 1:(P^n{)}_{ii}>0\}$. В одной коммуницирующей компоненте все состояния имеют одинаковый период. Апериодичность: $d(i)=1$.
- Для конечной цепи неразложимость автоматически даёт положительную возвратность, поэтому эргодичность = неразложимость + апериодичность.
- Эквивалентная матричная формулировка: матрица $P$ примитивна (существует $n$ с $P^n>0$).
2) Нахождение стационарного распределения:
- Стационарное распределение $\pi$ решает
$$\pi =\pi P,\sum _i{\pi }_i=1,{\pi }_i\ge 0.$$ - Методы:
- Прямое решение линейной системы: решить $\pi (I-P)=0$ с нормировкой ${\sum }_i{\pi }_i=1$. Практически заменяют одну уравнение на нормировку, затем используют Гаусс или LU.
- Собственный вектор: найти левые собственные векторы $vP=v$ для собств. значения $1$ и нормировать $v$ на сумму 1.
- Итерационные методы: степенной метод (начиная с вектора распределения ${\mu }^{(0)}$, итерация ${\mu }^{(n+1)}={\mu }^{(n)}P$) — при эргодичности ${\mu }^{(n)}\to \pi$. Для больших матриц — методы типа Arnoldi, GMRES и т.д.
- Для обратимых (дetailed balance) цепей: использовать равновесие пары ${\pi }_i{p}_{ij}={\pi }_j{p}_{ji}$ и вычислить $\pi$ через отношения (удобно для графов типа сети).
- Числовые замечания: для вырожденной системы (матрица $I-P$ сингулярна) заменить одно строковое уравнение условием нормировки.
3) Случаи неэргодичности и их последствия:
- Случай 1 — редуцируемая цепь (разложима):
- Существуют замкнутые (absorbing) классы коммуницирования и транзитные состояния. Ограничение $P$ на замкнутый класс даёт собственное стационарное распределение, поддержанное внутри этого класса.
- Стационарные вероятности цепи в целом: любые выпуклые комбинации стационарных распределений по замкнутым классам (массы на транзитных состояниях в стационарном распределении равны 0). Поэтому стационарное распределение неединственно, если есть >1 замкнутых класса.
- Динамика: масса из транзитных классов в пределе переходит в замкнутые классы; предельное распределение зависит от начальной точки (будет концентрироваться в том замкнутом классе, в который попадёт).
- Случай 2 — неапериодична отсутствует (цепь разложима апериодична? см. выше). Конкретно, если цепь неразложима но периодична (период $d>1$):
- Стационарное распределение $\pi$ всё ещё существует и единственно (для конечной неразложимой цепи), то есть решается $\pi =\pi P$.
- Однако $P_{ij}^n$ не сходятся при $n\to \infty$ (они осциллируют с периодом $d$). Зато усреднённые распределения сходятся: $\frac{1}{n}{\sum }_{k=1}^n{P}_{ij}^k\to {\pi }_j$.
- Простой пример: двухсостоянийое чередование $P=\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)$ — период 2, стационарное распределение $\pi =(1/2,1/2)$, но распределение по шагам чередуется.
- Итог по предельному поведению:
- Если цепь эргодична (неразложима+апериодична): для любого начального состояния $i$ ${\lim }_{n\to \infty }(P^n{)}_{ij}={\pi }_j$.
- Если разложима: предельное распределение зависит от начального состояния и сосредоточено в замкнутых классах; общий набор стационарных распределений — выпуклая оболочка стационарных распределений замкнутых классов.
- Если периодична (но неразложима): есть единственное $\pi$, но точечная сходимость $P^n$ отсутствует; сходятся лишь усреднения.
4) Практическая последовательность проверок при заданной матрице $P$:
- Построить ориентированный граф $G$ с ребром $i\to j$ если $p_{ij}>0$. Найти сильные компоненты связности (SCC).
- Если одна SCC — неразложима. Иначе найти замкнутые SCC (без исходящих ребер) — они дают возможные предельные классы.
- Для неразложимой компоненты вычислить период через $d(i)=\gcd \{n:(P^n{)}_{ii}>0\}$ или проверить наличие самопереходов $p_{ii}>0$ (самопереход даёт апериодичность).
- Решить $\pi =\pi P$ с нормировкой; при разложимости решать для каждой замкнутой компоненты её подматрицу.
Если нужно, могу привести краткий алгоритм на псевдокоде или пример расчёта для конкретной матрицы.