Кратко: пусть $A\in {\mathbb{R}}^{3\times 2}$, $B\in {\mathbb{R}}^{2\times 3}$. Обозначим $\mathrm{Im}B\subset {\mathbb{R}}^2$ и $\ker A\subset {\mathbb{R}}^2$. Тогда
1) Общая формула:
$$\mathrm{rank}(AB)=\dim (A(\mathrm{Im}B))=\mathrm{rank}B-\dim (\mathrm{Im}B\cap \ker A).$$ Доказательство: $\mathrm{Im}(AB)=A(\mathrm{Im}B)$. По формуле для размерности образа при ограничении отображения $\dim A(\mathrm{Im}B)=\dim \mathrm{Im}B-\dim (\mathrm{Im}B\cap \ker A)$.
2) Условия для $\mathrm{rank}(AB)=1$. Из формулы требуется
$$\mathrm{rank}B-\dim (\mathrm{Im}B\cap \ker A)=1.$$ Так как $\mathrm{rank}A,\mathrm{rank}B\in \{0,1,2\}$, это даёт перечисление случаев:
- Если $\mathrm{rank}B=1$, то $\mathrm{rank}(AB)=1$ тогда и только тогда, когда $A$ не аннигилирует образ $B$, т.е. $\mathrm{Im}B\not\subset \ker A$. В частности, если $\mathrm{rank}A=2$ (тогда $\ker A=\{0\}$), то при $\mathrm{rank}B=1$ автоматически $\mathrm{rank}(AB)=1$.
- Если $\mathrm{rank}B=2$, то $\mathrm{rank}(AB)=2-\dim (\mathrm{Im}B\cap \ker A)$. Для получения 1 нужно $\dim (\mathrm{Im}B\cap \ker A)=1$. Поскольку $\mathrm{Im}B={\mathbb{R}}^2$ при $\mathrm{rank}B=2$, это эквивалентно $\dim \ker A=1$, т.е. $\mathrm{rank}A=1$. Следовательно при $\mathrm{rank}A=1,\mathrm{rank}B=2$ всегда $\mathrm{rank}(AB)=1$.
- Если $\mathrm{rank}A=\mathrm{rank}B=1$, то $\mathrm{rank}(AB)$ может быть 0 или 1: оно равно 1 если и только если $\mathrm{Im}B\not\subset \ker A$.
Замечание: случай $\mathrm{rank}A=\mathrm{rank}B=2$ не может дать $\mathrm{rank}(AB)=1$, потому что тогда $\ker A=\{0\}$ и по формуле $\mathrm{rank}(AB)=\mathrm{rank}B=2$.
3) Примеры.
a) $\mathrm{rank}A=1,\mathrm{rank}B=2$:
A=(100000),B=(100010). A=\begin{pmatrix}1&0\\0&0\\0&0\end{pmatrix},\qquad
B=\begin{pmatrix}1&0&0\\0&1&0\end{pmatrix}.
A= 100 000 ,B=(10 01 00 ). Тогда $AB=\mathrm{diag}(1,0,0)$ (с дополнением нулевых столбцов) и $\mathrm{rank}(AB)=1$.
b) $\mathrm{rank}A=2,\mathrm{rank}B=1$:
A=(100100),B=(100000). A=\begin{pmatrix}1&0\\0&1\\0&0\end{pmatrix},\qquad
B=\begin{pmatrix}1&0&0\\0&0&0\end{pmatrix}.
A= 100 010 ,B=(10 00 00 ). Тогда $AB$ имеет только первый столбец ненулевым и $\mathrm{rank}(AB)=1$.
Итого: ключевая общая формула $\mathrm{rank}(AB)=\mathrm{rank}B-\dim (\mathrm{Im}B\cap \ker A)$ даёт необходимые и достаточные условия для $\mathrm{rank}(AB)=1$.