Кратко: множество всех точек, равноудалённых от вершин $A,B,C$, — прямая, проходящая через окружность центра треугольника $ABC$ и перпендикулярная плоскости $ABC$. Пересечение этой прямой с внутренностью тетраэдра даёт всю искомую геометрическую оболочку: либо пусто, либо одна точка, либо (открытый) отрезок.
Обоснование и как найти практически.
1) Локус равных расстояний. Пересечение двух перпендикулярных бисекторных плоскостей (внешних для пар $A,B$ и $A,C$) даёт единственную прямую. Пусть $O$ — центр описанной окружности треугольника $ABC$, $\mathbf{n}$ — единичный вектор, нормальный к плоскости $ABC$. Тогда
$$\ell =\{O+t\mathbf{n}:t\in \mathbb{R}\}$$ и для любой точки $P=O+t\mathbf{n}$ расстояния до $A,B,C$ равны (равны $\sqrt{R^2+t^2}$, где $R$ — радиус описанной окружности).
2) Пересечение с тетраэдром. Поскольку тетраэдр — выпуклый, пересечение прямой $\ell$ с его объёмом есть либо пустое множество, либо отрезок (включая вырожденный отрезок — точку). Значит внутри тетраэдра находятся ровно те точки вида $O+t\mathbf{n}$, для которых параметр $t$ лежит в некотором интервале $(t_1,t_2)$ (возможно пустом или вырожденном).
3) Практический алгоритм нахождения (и критерий непустоты).
- Вычислите $O$ — центр описанной окружности треугольника $ABC$ (пересечение перпендикуляров к двум сторонам).
- Возьмите нормаль $\mathbf{n}$ к плоскости $ABC$ (направление к вершине $D$ можно считать положительным).
- Параметризуйте прямую: $X(t)=O+t\mathbf{n}$.
- Для каждой из четырёх граней тетраэдра (треугольников $ABC,BCD,CAD,ABD$) найдите точку пересечения с плоскостью грани. Для грани с опорной точкой $A_i$ и нормалью ${\mathbf{n}}_i$ (направленной наружу) при условии $\mathbf{n}\cdot {\mathbf{n}}_i\ne 0$ параметр пересечения равен
$$t_i=\frac{(A_i-O)\cdot {\mathbf{n}}_i}{\mathbf{n}\cdot {\mathbf{n}}_i}.$$ - Для каждого найденного $t_i$ вычислите точку $P_i=X(t_i)$ и проверьте, лежит ли $P_i$ внутри соответствующего треугольника грани (например, по барицентрическим координатам или по знакам направленных площадей). Соберите все такие допустимые $t_i$.
- Интервал пересечения с тетраэдром — отрезок между минимальным и максимальным допустимым $t_i$. Если допустимых $t_i$ нет, пересечение пусто; если один — точка; если два (или более) — отрезок между крайними.
Особые случаи: если $\mathbf{n}\cdot {\mathbf{n}}_i=0$ — прямая параллельна плоскости грани; тогда либо нет пересечения с этой плоскостью, либо прямая лежит в плоскости (последнее для перпендикулярной к $ABC$ невозможно, кроме вырожденных случаев).
Итого: геометрическое место точек внутри тетраэдра, равноудалённых от трёх вершин $A,B,C$, — это отрезок (возможно пустой или точка) на прямой $\ell$ через центр описанной окружности треугольника $ABC$ и перпендикулярной плоскости $ABC$; проверка непустоты и нахождение концов выполняются описанным алгоритмом через пересечения $\ell$ с плоскостями граней и проверку принадлежности точек треугольникам.