Пусть окружности заданы $C_1:(x-x_1{)}^2+(y-y_1{)}^2=r_1^2$ и $C_2:(x-x_2{)}^2+(y-y_2{)}^2=r_2^2$. Обозначим
$$\mathbf{d}=(d_x,d_y)=(x_2-x_1,y_2-y_1),D=\Vert \mathbf{d}\Vert =\sqrt{d_x^2+d_y^2},$$ и рассмотрим прямую в нормальной форме $ux+vy+w=0$ с $u^2+v^2=1$. Условие касания даёт
$$u{x}_1+v{y}_1+w={\epsilon }_1{r}_1,u{x}_2+v{y}_2+w={\epsilon }_2{r}_2,$$ где ${\epsilon }_1,{\epsilon }_2\in \{\pm 1\}$. Вычитая, получаем
$$u{d}_x+v{d}_y={\epsilon }_2{r}_2-{\epsilon }_1{r}_1.$$ Положим $a={\epsilon }_1{r}_1-{\epsilon }_2{r}_2$. Вектор-единица вдоль $\mathbf{d}$:
$$\mathbf{e}=\frac{\mathbf{d}}{D}=(e_x,e_y),{\mathbf{e}}_{\perp }=(-e_y,e_x).$$ Тогда условие скалярного произведения даёт
$$(u,v)\cdot \mathbf{e}=-\frac{a}{D}.$$ Реальное решение существует лишь если $|a|\le D$. Все решения выписываются как
$$(u,v)=-\frac{a}{D}\mathbf{e}\pm \sqrt{1-\frac{a^2}{D^2}}{\mathbf{e}}_{\perp },$$ и затем
$$w={\epsilon }_1{r}_1-(u{x}_1+v{y}_1).$$ Каждая выбранная пара знаков $({\epsilon }_1,{\epsilon }_2)$ и знак в $\pm$ даёт прямую
$$ux+vy+w=0,$$ если выполняется $|a|\le D$.
Классификация (по выбору ${\epsilon }_i$ и по соотношению $D,r_1,r_2$):
- Внешние (не пересекают отрезок между центрами): соответствуют ${\epsilon }_1={\epsilon }_2$, тогда $a=\pm (r_1-r_2)$. Условие существования: $|r_1-r_2|\le D$. При строгом неравенстве — две внешние касательные, при равенстве $D=|r_1-r_2|$ — одна (касание внутреннее).
- Внутренние (пересекают отрезок между центрами): соответствуют ${\epsilon }_1=-{\epsilon }_2$, тогда $a=\pm (r_1+r_2)$. Условие существования: $r_1+r_2\le D$. При строгом неравенстве — две внутренние касательные, при равенстве $D=r_1+r_2$ — одна (касание внешнее).
Общее число касательных:
$$\{\begin{array}{ll}4,& D>r_1+r_2(\text{две внешние + две внутренние});\\ 3,& D=r_1+r_2(\text{две внешние + одна внутренняя});\\ 2,& |r_1-r_2|<D<r_1+r_2(\text{две внешние});\\ 1,& D=|r_1-r_2|(\text{одна внешняя, внутренние отсутствуют});\\ 0,& D<|r_1-r_2|(\text{нет общих касательных}).\end{array}$$
Особый случай: при $D=0$ (центры совпадают) общих касательных нет, если $r_1\ne r_2$; при $r_1=r_2$ окружности совпадают (бесконечно много касательных).