Пусть задана прямая
$$l:ax+by+c=0$$ и окружность
$$S_0:(x-x_0{)}^2+(y-y_0{)}^2=R^2.$$ Ищем окружность
$$S:(x-u{)}^2+(y-v{)}^2=r^2,$$ касающуюся и прямой $l$, и окружности $S_0$.
Условие касания к прямой:
$$\frac{|au+bv+c|}{\sqrt{a^2+b^2}}=r.$$ Условие касания к окружности (внешнее или внутреннее, с параметром $\sigma =\pm 1$, где $\sigma =+1$ — внешнее касание, $\sigma =-1$ — внутреннее):
$$\sqrt{(u-x_0{)}^2+(v-y_0{)}^2}=r+\sigma R,$$ (при внутреннем касании справа стоит абсолютная величина $|r-R|$, это эквивалентно квадратированию формулы ниже).
Удобно перейти в систему координат, где прямая — ось $Ox$ (это всегда делается аффинным преобразованием). Тогда прямая: $y=0$, центр $O$ имеет координаты $(x_0,y_0)$ (знак $y_0$ = ориентированное расстояние от $O$ до прямой), а касание к прямой даёт $v=\epsilon r$, $\epsilon =\pm 1$ (центр сверху/снизу оси). Подставляя в уравнение касания к $S_0$ получаем основную связь
$$(u-x_0{)}^2+(\epsilon r-y_0{)}^2=(r+\sigma R{)}^2,$$ откуда после упрощения
$$(u-x_0{)}^2=2r(\sigma R+\epsilon y_0)+(R^2-y_0^2).\text{\hspace{1em}(*)}$$
Это — общее условие: для заданных знаков $\sigma ,\epsilon$ и заданного $r\ge 0$ правая часть должна быть неотрицательна; тогда $u$ даётся как
$$u=x_0\pm \sqrt{2r(\sigma R+\epsilon y_0)+(R^2-y_0^2)},$$ и окружность определяется как $(x-u{)}^2+(y-\epsilon r{)}^2=r^2$.
Анализ по расстоянию $d=|y_0|$ (расстояние центра $O$ до прямой):
1) Общее замечание. Для каждой из четырёх комбинаций $(\sigma ,\epsilon )$ (внеш./внутр. касание и центр выше/ниже прямой) уравнение $(\ast )$ даёт либо пустое множество $r$, либо интервал(ы) значений $r$, причём для каждого допустимого $r$ есть один или два значения $u$. Поэтому семейство искомых окружностей обычно одномерно (континуум решений), а не дискретно.
2) Ключевое число в $(\ast )$ — $A=\sigma R+\epsilon y_0$.
- Если $A>0$, то правая часть при больших $r$ положительна, значит существует бесконечно много решений (неограниченные по $r$).
- Если $A=0$, то правая часть равна $R^2-y_0^2=R^2-d^2$; решения существуют тогда и только тогда, когда $d\le R$ (в этом случае для любых $r$ выполняется равенство для фиксированного $|u-x_0|=\sqrt{R^2-d^2}$).
- Если $A<0$, то из $(\ast )$ получается верхняя граница для $r$:
$$r\le \frac{d^2-R^2}{2(\sigma R+\epsilon y_0)}(\text{правая часть положительна только если числитель и знаменатель дают}r\ge 0),$$ и поэтому решения существуют лишь при дополнительном ограничении, которое в явном виде даёт конечный интервал для $r$.
3) Более конкретные выводы в терминах сравнения $d$ и $R$ (предположим для наглядности $y_0=d>0$, т.е. центр выше прямой; при $y_0<0$ меняются знаки $\epsilon$):
- Внешнее касание ($\sigma =+1$):
- Центр со стороны $O$ (верхняя сторона, $\epsilon =+1$): $A=R+d>0$ — всегда существует непрерывное множество решений (для всех $d$).
- Центр с противоположной стороны ($\epsilon =-1$): $A=R-d$. Если $d<R$ или $d=R$ — $A\ge 0$ → решения существуют (при $d=R$ вырожденный случай). Если $d>R$ — $A<0$, но тогда из (* ) следует допустимый интервал $0\le r\le (d+R)/2$ (всё равно бесконечно много решений, но с верхней границей).
- Внутреннее касание ($\sigma =-1$):
- Центр со стороны $O$ ($\epsilon =+1$): $A=d-R$. Если $d>R$ — $A>0$ → бесконечно много решений. Если $d<R$ — $A<0$ и допустимы значения $r$ с верхней границей $r\le (R+d)/2$.
- Центр с противоположной стороны ($\epsilon =-1$): $A=-(R+d)<0$ всегда; решения существуют только если $d<R$, при этом $r$ ограничено сверху: $r\le (R-d)/2$. При $d\ge R$ таких решений нет (кроме вырожденного случая $r=0$ при $d=R$).
Коротко по зависимости от $d$:
- Если $d>R$ (прямая не пересекает заданную окружность и отделена на расстояние больше радиуса): внешние касательные-окружности всегда есть; внутренние окружности, касающиеся с противоположной стороны центра, не существуют; остальные типы существуют с тем или иным неограниченным/ограниченным по $r$ набором.
- Если $d=R$ — граничные (вырожденные) случаи: появляются ограниченные семейства и частные вырожденные решения.
- Если $d<R$ (прямая проходит через «зону» окружности): существуют и внешние, и внутренние типы; для некоторых комбинаций центр может находиться по обе стороны прямой, но при внутренних касаниях радиусы будут ограничены сверху.
Итого: общая форма искомой окружности задаётся уравнениями
$$(x-u{)}^2+(y-v{)}^2=r^2,\frac{|au+bv+c|}{\sqrt{a^2+b^2}}=r,(u-x_0{)}^2+(v-y_0{)}^2=(r+\sigma R{)}^2,$$ что при приведении прямой к $y=0$ даёт явную формулу $(\ast )$ для $u$. Условия существования сводятся к неотрицательности правой части $(\ast )$ и приводятся к приведённой классификации в зависимости от $d$ и знаков $\sigma ,\epsilon$.