Существует несколько способов проверить выпуклость четырехугольника по координатам его вершин. Один из них - это использование векторного произведения.

Вычислите векторы для каждой пары последовательных вершин четырехугольника.Найдите векторное произведение для каждой пары векторов.Проверьте знаки всех векторных произведений. Если они все одинаковы (например, положительные или отрицательные), то четырехугольник является выпуклым. Если есть хотя бы одно векторное произведение с противоположным знаком, то четырехугольник не является выпуклым.

Таким образом, если все векторные произведения имеют одинаковый знак, то четырехугольник выпуклый, в противном случае он невыпуклый.