Коротко: преобразования плоскости, переводящие все касательные к данной невырожденной конике $C$ в касательные (т.е. сохраняющие множество касательных), — это ровно проективные преобразования, стабилизирующие эту конику (или, что эквивалентно, её двойственную конику). Группа таких преобразований — стабилизатор коники в $PGL(3)$; для невырожденной коники он изоморфен $PGL(2)$. Ниже — сжатое доказательство и пояснения.
1) Координатная запись и условие сохранения касательных.
- Пусть коника задана симметрической невырожденной матрицей $S$ в однородных координатах: $C=\{[x]\in {\mathbb{P}}^2:x^{T}Sx=0\}.$ - Касательная в точке $x\in C$ задаётся линейной формой $x^{T}SX=0$ (здесь $X$ — переменная точка).
- Пусть проективное преобразование действует матрицей $M\in GL(3)$: точка $X\mapsto MX$. Тогда образ коники имеет уравнение $(M^{-1}X{)}^{T}S(M^{-1}X)=0$, т.е. матрица новой коники пропорциональна $(M^{-1}{)}^{T}S{M}^{-1}$.
- Множество касательных к $C$ в дуальной плоскости задаётся двойственной (контрматрицей) коникой, матрица которой пропорциональна $S^{-1}$. Под действием $M$ эта двойственная матрица преобразуется по правилу $S^{-1}\mapsto M^T{S}^{-1}M$.
- Следовательно условие «все касательные переводятся в касательные» эквивалентно сохранению множества точек двойственной коники, т.е. существованию скаляра $\lambda$ с
$$M^T{S}^{-1}M=\lambda S^{-1},$$ (эквивалентно $(M^{-1}{)}^{T}S{M}^{-1}={\lambda }^{-1}S$). Это точно условие того, что $[M]\in PGL(3)$ стабилизирует конику (в смысле равенства коник до скаляра).
2) Структура группы автоморфизмов.
- Рассмотрим вложение коники $C$ в проектive кривую изоморфную ${\mathbb{P}}^1$ (любая невырожденная коника проектно биективна с ${\mathbb{P}}^1$: есть рациональная параметризация). Любую проективную автоморфизму $g\in PGL(2)$ на ${\mathbb{P}}^1$ можно перенести через параметризацию в проективное преобразование плоскости, сохраняющее $C$. Так мы получаем гомоморфизм $\iota :PGL(2)\to {\mathrm{Stab}}_{PGL(3)}(C)$.
- Обратно, любое проективное преобразование плоскости, стабилизирующее $C$, прижимается к автоморфизму $C$ как проективной кривой; это даёт обратный гомоморфизм. По размерности (оба пространства параметризуются тремя параметрами) и по инъективности/сюръективности получаем изоморфизм
$${\mathrm{Stab}}_{PGL(3)}(C)\cong PGL(2).$$ Таким образом группа всех проективных преобразований, которые переводят касательные $C$ в касательные $C$, изоморфна $PGL(2)$ (трёхмерная группа).
3) Замечания и частные случаи.
- Если работать не в полной проективной, а в аффинной или евклидовой плоскости и требовать, чтобы коника переводилась «в ту же классическую конику» (эллипс↔эллипс, гипербола↔гипербола, парабола↔парабола), то допустимые преобразования — это подгруппы аффинных или проективных преобразований, сохраняющие тип: например, аффинные преобразования сохраняют семейство парабол и гипербол/эллипсов в соответствующих смыслах; их стабилизаторы обычно имеют также три параметра, но форма группы зависит от ограничений (аффинность, евклидовость и т.д.).
- Если коника вырождена (пара линий, кратная линия), то группа преобразований, сохраняющих множество её касательных (т.е. соответствующее множество прямых), — это группа преобразований, сохраняющих это семейство прямых (включая перестановки компонентов); структура зависит от конфигурации линий (например, две разные линии: стабилизатор — те преобразования, которые переводят набор из двух прямых в себя, возможно с перестановкой).
Итого: искомая группа — стабилизатор коники в проективной группе $PGL(3)$; для невырожденной коники она изоморфна $PGL(2)$. Доказательство основано на описании касательной через симметрическую матрицу коники и на параметризации коники проективной прямой.