Утверждение (единой формулировкой). Пусть четыре различные точки $A,B,C,D$ лежат на одной окружности радиуса $R$. Тогда для ориентированных (signed) отрезков справедливо тождество
$$\overline{AC}\cdot \overline{BD}=\overline{AB}\cdot \overline{CD}+\overline{BC}\cdot \overline{AD}.$$ В частности, если вершины $A,B,C,D$ записаны в порядке обхода окружности (то есть квадр. $ABCD$ — простой, выпуклый или невыпуклый, но с вершинами в циклическом порядке), то все множители можно считать неотрицательными и получаем классическую форму
$$AC\cdot BD=AB\cdot CD+BC\cdot AD.$$ Если же вершины чередуются по окружности (входит самопересекающийся вариант, «крест-накрест»), то один из слагаемых в правой части берётся с минусом (это выражается естественно при работе с ориентированными длинами).
Критерий знака. Правый знак (плюс) соответствует тому, что хорды $AB$ и $CD$ (или хорды $BC$ и $AD$) не пересекаются внутри окружности; если же соответствующие хорды пересекаются (концы точек чередуются на окружности), то соответствующее слагаемое имеет противоположный знак.
Короткое доказательство (тригонометрическое). Пусть центральные углы, соответствующие хордам $AB,BC,CD,DA$, равны $2\alpha ,2\beta ,2\gamma ,2\delta$. Тогда $2(\alpha +\beta +\gamma +\delta )=2\pi$, т.е. $\alpha +\beta +\gamma +\delta =\pi$. Хорда длины $XY$ равна \(2R\sin(\)половина центрального угла\()\), поэтому
$$\begin{array}{rl}AC& =2R\sin (\alpha +\beta ),BD=2R\sin (\beta +\gamma ),\\ AB& =2R\sin \alpha ,CD=2R\sin \gamma ,\\ BC& =2R\sin \beta ,AD=2R\sin \delta .\end{array}$$ Подставляя в левую и правую части, умножив на $4R^2$, получаем эквивалентную тригонометрическую тождественность
$$\sin (\alpha +\beta )\sin (\beta +\gamma )=\sin \alpha \sin \gamma +\sin \beta \sin \delta .$$ Действительно, используя формулу произведения синусов через косинусы и факт $\delta =\pi -(\alpha +\beta +\gamma )$ (откуда $\sin \delta =\sin (\alpha +\beta +\gamma )$) легко проверить тождество; при этом знаки синусов автоматически отражают ориентированность дуг, поэтому формула верна в ориентированной форме, дающей все случаи (плюс/минус) при снятии ориентации.
Контрпримеры (иллюстрация необходимости условий).
1) Самопересекающийся порядок (нужен минус). На единичной окружности возьмём точки
$A=(1,0),B=(-1,0),C=(0,1),D=(0,-1)$.
Тогда
$$AC=|1-i|=\sqrt{2},BD=|-1+i|=\sqrt{2}\Rightarrow AC\cdot BD=2.$$ А
$$AB=2,CD=2\Rightarrow AB\cdot CD=4,BC=\sqrt{2},AD=\sqrt{2}\Rightarrow BC\cdot AD=2,$$ и видно, что $AC\cdot BD=2\ne 4+2$. Но с ориентировками (или с выбором знака для одного слагаемого) верно
$$AC\cdot BD=AB\cdot CD-BC\cdot AD=4-2=2,$$ что соответствует правилу «минус» при чередовании точек.
2) Точки не на одной окружности (необходимость условия «сопряжённость по окружности»). Возьмём
$A=(1,0),B=(0,1),C=(-1,0),D=(0,-2)$ — эти 4 точки не лежат на общей окружности. Тогда
$$AC=2,BD=3\Rightarrow AC\cdot BD=6,$$ $$AB=\sqrt{2},CD=\sqrt{5}\Rightarrow AB\cdot CD\approx 3.1623,$$ $$BC=\sqrt{2},AD=\sqrt{5}\Rightarrow BC\cdot AD\approx 3.1623,$$ и сумма примерно $6.3246\ne 6$. Значит без условия «все 4 точки на одной окружности» равенство не выполняется.
Краткое резюме. Тождество Птолемея остаётся верным в полной общности для четырёх соплацирующихся (concyclic) точек, если работать с ориентированными длинами; при снятии ориентации знак между слагаемыми зависит от циклического порядка точек на окружности (плюс для последовательного порядка, минус при чередовании, и в общем случае — соответствующие ориентировочные знаки). Необходимое и достаточное условие: все четыре точки лежат на одной окружности (или прямее: равенство с неориентированными положительными длинами верно тогда и только тогда, когда точки — вершины вписанного (не самопересекающегося) четырехугольника в указанном порядке).