Утверждение ложно в общем. Контрпример и разбор.
Контрпример. Пусть
$$A=\left(\begin{array}{cc}1& 1\\ 0& 1\end{array}\right),B=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)=I.$$ Тогда $AB=BA$, но $A$ не диагонализируема (у неё один собственный корень $\lambda =1$ с неглавной жордановой клеткой), следовательно матрицы $A$ и $B$ не могут быть одновременно диагонализированы. Таким образом утверждение «$AB=BA$ ⇒ одновременно диагонализируемы» неверно.
Правильные утверждения (достаточные условия).
- Если над алгебраически замкнутым полем (например, над $\mathbb{C}$) матрицы $A$ и $B$ диагонализируемы и $AB=BA$, то они одновременно диагонализируемы. Краткий довод: разложим пространство на собственные подпространства $A$, т.к. $AB=BA$ подпространства собственных значений $A$ инвариантны относительно $B$; поскольку $B$ диагонализируемо, на каждом инвариантном подпространстве можно выбрать базис собственных векторов $B$, получающие одновременно собственные векторы для $A$ и $B$.
- Более сильно: если матрицы нормальны и коммутируют (над $\mathbb{C}$), то они одновременно унитарно диагонализируемы.
- Также любая коммутирующая совокупность матриц над $\mathbb{C}$ одновременно приводима к верхнетреугольному виду (но не обязательно к диагональному).
Типичные ошибки при рассуждении.
- Путать «иметь общий базис собственных векторов» с тем, что матрицы просто коммутируют. Коммутирование не даёт диагонализируемости.
- Заменять «диагонализируемы» на «треугольны» или наоборот: из того, что коммутирующие матрицы одновременно треугольны, не следует, что они одновременно диагонализируемы.
- Игнорировать поле: над $\mathbb{R}$ дополнительные сложности (например, вещественно недиагонализируемые комплексно диагонализируемые операторы).
- Ошибочно полагать, что $AB=BA$ влечёт, что одна матрица есть многочлен от другой — это более сильное свойство и не верно в общем.
Вывод: условие $AB=BA$ само по себе не гарантирует одновременную диагонализацию; нужны дополнительные гипотезы (например, диагонализуемость обеих матриц над подходящим полем, или нормальность и коммутативность).