Контрпример: взять перестановочную матрицу 2×2
$$A=\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right).$$ Её диагональные элементы равны нулю, но
$$\det A=0\cdot 0-1\cdot 1=-1\ne 0,$$ следовательно $A$ невырождена. Более того
$$A^2=\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)=I,$$ откуда $A^{-1}=A$.
Почему это не противоречит существованию обратной матрицы: для обратимости не требуется, чтобы отдельные диагональные элементы были ненулевыми; требуется лишь $\det A\ne 0$ (или линейная независимость строк/столбцов, или наличие ведущих единиц в каждом столбце при Гауссе). В частном случае треугольных матриц действительно верно: треугольная матрица обратима тогда и только тогда, когда все диагональные элементы ненулевые (так как $\det$ треугольной = произведение диагонали). Но в общем положении диагональные нули не мешают иметь ненулевой детерминант и, следовательно, обратную матрицу.