Краткий ответ: любое преобразование Мёбиуса $w=\frac{az+b}{cz+d}$ переводит «обобщённые окружности» (то есть обычные окружности и прямые) в такие же обобщённые окружности. Ниже — два объяснения (геометрическое и алгебраическое) и два конкретных примера с вычислениями.
1) Геометрическое доказательство (через образующие преобразования).
Преобразования Мёбиуса порождены тремя типами простых отображений:
- сдвиг $z\mapsto z+z_0$,
- вращение+масштабирование $z\mapsto \lambda z$ $(\lambda \ne 0)$,
- инверсия $z\mapsto 1/z$.
Сдвиги и гомотетии сохраняют круги и прямые (пересылают окружности в окружности, прямые в прямые). Инверсия имеет классическое геометрическое свойство: она переводит
- окружность, не проходящую через центр инверсии (точку $0$), в окружность,
- окружность, проходящую через центр инверсии, в прямую (и обратно),
- прямую, не проходящую через центр, в окружность, проходящую через образ бесконечности (и в пределе — в окружность),
- прямую, проходящую через центр, в себя (как прямую).
Поскольку композиция отображений, каждое из которых сохраняет класс «окружность или прямая», снова даёт отображение того же класса, то и произвольное Мёбиусово преобразование сохраняет обобщённые окружности. Особый случай: если при композиции появляется точка, которая отображается в бесконечность (через знаменатель $cz+d=0$), то соответствующий образ — прямая (обобщённая окружность через бесконечность).
2) Алгебраическое доказательство (через квадратичные формы).
Обобщённая окружность задаётся уравнением вида
$$\alpha |z{|}^2+\beta z+\overline{\beta }\overline{z}+\gamma =0,$$ где $\alpha ,\gamma \in \mathbb{R}$, $\beta \in \mathbb{C}$ (при $\alpha =0$ это прямая). Пусть $w=\frac{az+b}{cz+d}$, обратное выражение
$$z=\frac{dw-b}{-cw+a}.$$ Подставляя это и его сопряжённое в уравнение обобщённой окружности и домножая на ненулевой модуль квадрата знаменателя, получаем аналогичное уравнение того же вида для $w$ и $\overline{w}$:
$${\alpha }^{\prime }|w{|}^2+{\beta }^{\prime }w+\overline{{\beta }^{\prime }}\overline{w}+{\gamma }^{\prime }=0,$$ с новыми коэффициентами ${\alpha }^{\prime },{\beta }^{\prime },{\gamma }^{\prime }$. Следовательно образ — снова обобщённая окружность (в случае ${\alpha }^{\prime }=0$ — прямая). Это даёт алгебраическое подтверждение сохранения класса.
3) Примеры с вычислениями.
Пример A (инверсия): пусть $w=1/z$. Возьмём прямую $\Re z=1$. Тогда $z=1/w$ должно удовлетворять $\Re (1/w)=1$. Пишем $w=x+iy$. Тогда
$$\Re \left(\frac{1}{w}\right)=\Re \left(\frac{\overline{w}}{|w{|}^2}\right)=\frac{\Re w}{|w{|}^2}=1.$$ Отсюда $\Re w=|w{|}^2$, то есть $x=x^2+y^2$, или
$$x^2-x+y^2=0⟺(x-\frac{1}{2}{)}^2+y^2=\frac{1}{4}.$$ Это окружность центра $(\frac{1}{2},0)$ радиуса $\frac{1}{2}$. Итого: прямая $\Re z=1$ переходит при инверсии в окружность, не проходящую через $0$.
Пример B (Кэли — координатное Мёбиусово преобразование): пусть
$$w=\frac{z-i}{z+i}.$$ Если $z$ лежит на действительной оси ($z=\overline{z}$), то
$$|w{|}^2=\frac{(z-i)(\overline{z}+i)}{(z+i)(\overline{z}-i)}=\frac{(z-i)(z+i)}{(z+i)(z-i)}=1,$$ поэтому действительная ось переводится в единичную окружность $|w|=1$. Точка $z=i$ переходит в $w=0$; точка $z=\infty$ переходит в $w=1$. Таким образом прямая (ось) переходит в окружность, проходящую через образ $\infty$ (т.е. обычную окружность).
(Дополнительно можно проверить обратные образы: окружности, проходящие через $i$, переходят в прямые и т. д.)
Заключение: оба подхода (геометрический через генераторы и алгебраический через квадратичные формы) дают одно и то же утверждение: любое преобразование Мёбиуса переводит окружности и прямые в окружности или прямые. Приведённые примеры показывают явные вычисления образов.