Существует несколько способов определения выпуклости четырехугольника по его вершинам.

Один из способов - использовать определение выпуклого многоугольника: многоугольник называется выпуклым, если любая его точка лежит внутри или на его границе. Для четырехугольника это означает, что если провести от каждой вершины четырехугольника внутреннюю диагональ (отрезок, соединяющий несмежные вершины), то эти диагонали не будут выходить за пределы фигуры.

Другой способ - использовать ориентированную площадь четырехугольника. Если ориентированная площадь положительна, то четырехугольник выпуклый. Для определения ориентированной площади четырехугольника можно воспользоваться формулой площади, рассчитанной по его вершинам.

В любом случае, для определения выпуклости четырехугольника по координатам его вершин нужно использовать геометрические свойства фигуры и формулы расчетов.