Коротко и по делу.
1) Условие допустимости. Чтобы стороны $a,b,c,d>0$ задавали выпуклый простой четырёхугольник, нужно, в частности,
$$\max \{a,b,c,d\}<a+b+c+d-\max \{a,b,c,d\},$$ т.е. каждая сторона меньше суммы трёх остальных (здесь и далее предполагаем фиксированный порядок сторон по окружности).
2) Общая формула площади (Бретшнейдер). Пусть $s=\frac{a+b+c+d}{2}$ и $\theta$ — сумма двух противоположных углов. Тогда площадь $K$ любого выпуклого четырёхугольника со сторо\-нами $a,b,c,d$ выражается как
$$K=\sqrt{(s-a)(s-b)(s-c)(s-d)-abcd{\cos }^2\frac{\theta }{2}}.$$ Отсюда сразу следует оценка
$$K\le \sqrt{(s-a)(s-b)(s-c)(s-d)}.$$
3) Максимум и его достижение. Правая часть достигается тогда и только тогда, когда $\cos \frac{\theta }{2}=0$, т.е. $\theta =\pi$. Это условие эквивалентно тому, что четырёхугольник циклический (вписан в окружность). В этом случае площадь определяется формулой Брахмагупты:
$$K_{\max }=\sqrt{(s-a)(s-b)(s-c)(s-d)}.$$
4) Существование циклического решения. Не для любых наборов $a,b,c,d$, допустимых как стороны четырёхугольника, существует циклический четырёхугольник с этими сторонами. Эквивалентное условие существования вписанного четырёхугольника: существуют углы $x_i\in (0,\pi )$ такие, что ${\sum }_{i=1}^4{x}_i=\pi$ и
$$\sin x_i\propto a_i,$$ или, что то же самое, существует $k>0$ с $k{a}_i\le 1$ и
$$\sum _{i=1}^4\arcsin (k{a}_i)=\pi .$$ Если такое $k$ существует, то максимум равен выражению Брахмагупты и достигается циклическим четырёхугольником. Если такого $k$ нет, то ${\cos }^2\frac{\theta }{2}$ не может быть равной нулю, и максимум площади среди выпуклых четырёхугольников будет строго меньше $\sqrt{(s-a)(s-b)(s-c)(s-d)}$; при фиксированном порядке сторон максимум при этом всё равно существует (компактность множества конфигураций) и соответствует тому значению $\theta$, при котором ${\cos }^2\frac{\theta }{2}$ минимально достижимое.
5) Единственность. Значение максимальной площади однозначно (формула в п.3 зависит только от сторон). Форма четырёхугольника, достигающая максимум, при фиксированном порядке сторон: если циклический четырёхугольник существует, то он (в заданном порядке) определяется однозначно с точностью до зеркального отражения; если порядок не фиксирован, разные порядки могут давать разные (возможно одинаковые) максимумы. В общем, для единственности формы нужно явно: (i) считать порядок сторон фиксированным; (ii) требовать выпуклости; (iii) и чтобы существовал вписанный (циклический) четырёхугольник — тогда максимум достигается им и форма уникальна до отражения.
Итого: максимум площади при фиксированных сторонах существует и равен формуле Брахмагупты тогда и только тогда, когда можно построить циклический четырёхугольник с этими сторонами; иначе максимум меньше этой оценки, но также достигается при некоторой конфигурации.