Выпуклость множества в евклидова пространстве можно определить с использованием нескольких критериев. Вот некоторые из них:

Определение через отрезки: Множество ( C \subseteq \mathbb{R}^n ) является выпуклым, если для любых двух точек ( x, y \in C ) и для любого ( \lambda \in [0, 1] ) точка ( z = \lambda x + (1 - \lambda) y ) также принадлежит множеству ( C ). Это означает, что отрезок, соединяющий любые две точкив множестве, полностью содержится в этом множестве.

Геометрическое определение: Множество является выпуклым, если для любой пары точек, принадлежащих этому множеству, не существует "впадины", в которой бы находились другие точки, выходящие за пределы него.

Проверка по границе: Если множество ограничено определённым образом, и граница этого множества является выпуклой (например, на плоскости это может быть выпуклый многогранник), то само множество тоже будет выпуклым.

Теперь приведем несколько примеров множеств, которые интуитивно могут казаться выпуклыми, но на деле таковыми не являются:

Вогнутая область: Например, множество, задаваемое неравенством ( x^2 + y^2 < 1 ) вместе с верхней половиной круга, но не включая нижнюю, может выглядеть выпуклым, но в действительности является неполным, поскольку не все отрезки между точками на верхней границе пересекают область.

Загогулина или орнамент: Множество, имеющее форму зигзага или сложного узора, может казаться выпуклым, если рассматривать его с определенной точки зрения. Однако оно может содержать участки, где существует вогнутость.

Конус с выемкой: Множество, представляющее собой конус, у которого вырезан треугольник из боковой поверхности, кажется выпуклым с учетом основания, однако существует точка на поверхности конуса и точка в выемке, для которой отрезок между ними не лежит в множестве.

Эти примеры демонстрируют, что интуитивный аспект выпуклости может иногда вводить в заблуждение, и для точного определения необходимо использовать формальные критерии.