Коротко и по делу. Разберём два варианта невыпуклости: простой вогнутый (рефлексный угол > $180^{\circ }$) и самопересекающийся (скрещённый) четырёхугольник. Многие классические утверждения о вписанности/описанности остаются верны, но требуют корректной интерпретации (ориентированные углы, знаковые длины или использование внешнего угла).
1) Вписанность (четыре вершины лежат на одной окружности)
- Базовое эквивалентное условие остаётся верным в виде равенства соответствующих (направленных) углов:
$$\measuredangle ABC=\measuredangle ADC$$ или, аналогично, для противоположных углов в смысле направленных углов
$$\angle A+\angle C\equiv 180^{\circ }(\mathrm{mod}180^{\circ }).$$ То есть формулировка «противоположные углы supplementary» сохраняется, если интерпретировать углы как ориентированные (или разрешать внешний угол в месте рефлексного вершины).
- Теорема Птолемея для четырёх точек на окружности: при правильном порядке точек на окружности $A,B,C,D$ $$AC\cdot BD=AB\cdot CD+BC\cdot AD.$$ Для самопересекающегося (когда порядок вершин при обходе многоугольника отличается от порядка на окружности) формула справедлива с учётом знаков (или со знаком «минус»):
$$AC\cdot BD=AB\cdot CD-BC\cdot AD$$ (или модульное значение при обычных длинах: со знаком минус меняется на соответствующее вычитание).
- Связи диагоналей с углами тоже сохраняются в ориентированной форме: например, углы, которые диагонали подсекают на дугах, равны по тем же правилам.
2) Описанность (вокруг четырёхугольника можно описать окружность — имеется вписанная окружность / касательная ко всем сторонам)
- Критерий Пито для обычной (выпуклой) описанности:
$$AB+CD=BC+AD.$$ Для вогнутой или скрещённой фигуры надо учитывать, какие отрезки берутся в «положительном» направлении: при корректном выборе знаков равенство Pitot остаётся верным (формулируют через длины касательных от вершин к точкам касания — суммирование одинаковых касательных даёт равенство). Иначе в чисто «модульном» виде наивное равенство может не выполняться.
- Центр вписанной окружности определяется пересечением биссектрис углов. В вогнутом случае для рефлексного угла используется внешняя биссектриса; три (внешняя/внутренние) биссектрисы всё ещё могут пересечься в одной точке — центре окружности, касающейся всех прямых-сторон. То есть свойство «биссектрисы/касательные» сохраняется при корректном учёте внутренней/внешней биссектрисы.
3) Что теряется при формулировках без оговорок
- Простое утверждение «в невыпуклом четырёхугольнике противоположные углы дают в сумме $180^{\circ }$» может быть ложным, если не указать, как считывать угол (внутренний или внешний). То же для Pitot и Ptolemy — знаки/ориентация обязательны.
- Геометрические интуитивные факты о том, что диагонали лежат внутри фигуры или что точки пересечения диагоналей находятся внутри, в вогнутом случае часто не выполняются.
Вывод (кратко): все основные свойства вписанности и описанности (связь противоположных углов, Ptolemy, Pitot, совпадение биссектрис и центра касательной окружности и т.п.) сохраняются для невыпуклых случаев при переходе на ориентированные углы и/или знаковые длины (или при замене некоторых внутренних углов на внешние). Без такой корректировки утверждения могут ложиться.