Краткий ответ: утверждение в исходной формулировке неточно (размыто). Корректная версия и доказательство ниже; приведу примеры и граничные случаи.
1) Уточнение формулировки. Под «невыпуклым четырёхугольником» будем понимать простой (не самопересекающийся) выпукло-невыпуклый (конкавный) четырёхугольник $ABCD$ с ровно одной вогнутой вершиной (скажем, $D$ — рефлексный угол $>180^{\circ }$). Тогда эквивалентное утверждение:
«Для простого четырёхугольника $ABCD$ с рефлексной вершиной $D$ диагонали (точнее, прямые, содержащие диагонали) пересекаются вне фигуры тогда и только тогда, когда
$$\angle A+\angle C<180^{\circ }.$$ (Эквивалентно: ровно одна пара противоположных углов имеет сумму меньше $180^{\circ }$.)»
2) Доказательство (кратко). Пусть $D$ — вогнутая вершина, т.е. $D$ лежит внутри треугольника $ABC$. Тогда
- точка $D$ и вершина $B$ лежат по одну сторону от прямой $AC$, поэтому отрезок $BD$ не пересекает отрезок $AC$: пересечение прямых $AC$ и $BD$ принадлежит прямой $AC$, но не лежит на отрезке $BD$. Следовательно пересечение прямых (линий диагоналей) находится вне области четырёхугольника (внутрь он не попадает).
- Угол в вершинах $A$ и $C$ четырёхугольника меньше соответствующих углов треугольника $ABC$ (поскольку лучи $AD$ и $CD$ «входят» в треугольник), поэтому
$$\angle A+\angle C<\angle BAC+\angle BCA<180^{\circ }.$$ Обратно, если $\angle A+\angle C<180^{\circ }$, то одна из вершин (та, чей противоположный угол превышает $180^{\circ }$) должна быть в описанном положении внутри треугольника, и диагонали (линии) пересекаются вне фигуры. Таким образом при и только при.
3) Примеры.
- Пример (численный). Возьмём $A=(0,0),B=(2,0),C=(1,2),D=(1,1)$. Здесь $D$ внутри треугольника $ABC$ (четырёхугольник невыпуклый). Углы в вершинах примерно $\angle A\approx 45^{\circ },\angle C\approx 26.565^{\circ }$, поэтому
$$\angle A+\angle C\approx 71.565^{\circ }<180^{\circ },$$ и пересечение прямых, содержащих диагонали, лежит вне области четырёхугольника (в данном случае на отрезке $AC$ как точка пересечения прямых, но не на отрезке $BD$).
4) Границы верности (особые случаи).
- Если четырёхугольник выпуклый, то диагонали отрезками всегда пересекаются внутри; в этом случае условие «сумма противоположных углов меньше $180^{\circ }$» не однозначно применимо без указания, какую пару углов рассматривают. Для выпуклого четырёхугольника может быть и $\angle A+\angle C<180^{\circ }$, и $\angle A+\angle C>180^{\circ }$ в зависимости от формы; но диагонали остаются внутри.
- Граничный случай $\angle A+\angle C=180^{\circ }$. Тогда пересечение прямых может лежать на границе: например при $\angle A+\angle C=180^{\circ }$ точка пересечения прямых диагоналей может попадать на сторону (или её продолжение) четырёхугольника — конструкция вырожденная между «внутри» и «вне». Пример: циклический выпуклый четырёхугольник даёт $\angle A+\angle C=180^{\circ }$, но диагонали пересекаются внутри; при смешанных положениях равенство обычно означает, что точка пересечения лежит на продолжении стороны (на границе).
Вывод: для простого невыпуклого (конкавного) четырёхугольника утверждение в точной форме — «диагонали (точнее, прямые диагоналей) пересекаются вне фигуры тогда и только тогда, когда соответствующая пара противоположных углов (та, что не содержит рефлексный угол) даёт сумму $<180^{\circ }$» — верно. Оригинальная формулировка без уточнения пары углов и типа «пересечения» (отрезки или прямые) была неточна.