Пусть даны две пересекающиеся окружности с центрами $O_1,O_2$ и радиусами $r_1,r_2$. Рассмотрим искомую окружность с центром $X$ и радиусом $r$. Для каждой касания к $i$-й заданной окружности имеем (возможно с учётом направления касания):
- при внешнем касании: $X{O}_i=r+r_i$;
- при внутреннем касании (искомая лежит внутри данной): $X{O}_i=r_i-r$ (при $r<r_i$).
1) Оба касания одного типа (обе внешние или обе внутренние). Тогда из двух равенств получаем
$$X{O}_1-(X{O}_2)=(r\pm r_1)-(r\pm r_2)=r_1-r_2,$$ откуда
$$|X{O}_1-X{O}_2|=|r_1-r_2|.$$ Это уравнение задаёт гиперболу с фокусами в $O_1$ и $O_2$ (разность расстояний до фокусов постоянна). Поэтому геометрическое место центров при одинаковом виде касания — ветви гиперболы с фокусами $O_1,O_2$. При внешнем касании выбираются те точки этой гиперболы, для которых $X{O}_i>r_i$; при внутреннем — те её точки, для которых $X{O}_i<r_i$. (То есть переход от внешнего к внутреннему касанию не меняет алгебраический вид кривой — это та же гипербола — но меняется часть ветвей, отвечающая физически допустимым центрам.)
2) Смешанный случай (к одной окружности внешнее, к другой — внутреннее). Пусть внешнее к $O_1$, внутреннее к $O_2$. Тогда
$$X{O}_1=r+r_1,X{O}_2=r_2-r,$$ складывая,
$$X{O}_1+X{O}_2=r_1+r_2.$$ Это уравнение задаёт эллипс с фокусами $O_1,O_2$ и большой осью длины $r_1+r_2$. Для обратного сочетания ролей окружностей формула та же. При пересекающихся исходных окружностях (то есть $|r_1-r_2|<O_1{O}_2<r_1+r_2$) и гипербола, и эллипс действительно существуют; какие именно их ветви/дуги соответствуют допустимым центрам определяется дополнительными неравенствами $X{O}_i>r_i$ или $X{O}_i<r_i$.
Краткий вывод: центры окружностей, касающихся обеих данных внешним касанием, лежат на гиперболе с фокусами в $O_1,O_2$ и постоянной разностью $|r_1-r_2|$. При переходе к внутреннему касанию алгебраическая зависимость остаётся той же (гипербола), но физически допустимые точки — другая часть этой гиперболы (те, у которых $X{O}_i<r_i$). В смешанном варианте место центров — соответствующий эллипс с суммой расстояний $r_1+r_2$.