Обозначим вершины вписанного шестиугольника по кругу $A_1,A_2,\dots ,A_6$ и пусть стороны подряд равны
$$A_1{A}_2=a,A_2{A}_3=b,A_3{A}_4=a,A_4{A}_5=b,A_5{A}_6=a,A_6{A}_1=b.$$ Пусть радиус описанной окружности $R$; центральные углы, соответствующие сторонам длины $a$ и $b$, равны соответственно $\alpha$ и $\beta$. Тогда
$$a=2R\sin \frac{\alpha }{2},b=2R\sin \frac{\beta }{2},$$ и так как сумма всех шести центральных углов равна $2\pi$, имеем
$$3\alpha +3\beta =2\pi \Rightarrow \alpha +\beta =\frac{2\pi }{3}.$$
Условие самопересечения. Поскольку $\alpha ,\beta \in (0,\frac{2\pi }{3})$ (их сумма меньше $\pi$), все центральные дуги между соседними вершинами меньше $\pi$. Следовательно шестиугольник при таком порядке вершин на окружности всегда выпуклый и не самопересекающийся (единственный вырожденный случай — совпадение точек или нулевые стороны).
Выражения для диагоналей. Рассмотрим типы диагоналей (по числу пропускаемых вершин).
1) Диагонали между вершинами через одну (например $A_1{A}_3$, $A_2{A}_4$ и т. п.). Их центральный угол равен $\alpha +\beta =\frac{2\pi }{3}$, поэтому
$$A_1{A}_3=2R\sin \frac{\alpha +\beta }{2}=2R\sin \frac{\pi }{3}=\sqrt{3}R.$$ Подставляя $R$ через $a,b$ (см. ниже), получаем компактную формулу
$$A_1{A}_3=\sqrt{a^2+ab+b^2}.$$ (Действительно из соотношений для $\sin \frac{\alpha }{2},\sin \frac{\beta }{2}$ следует $3R^2=a^2+ab+b^2$.)
2) Диагонали между противоположными вершинами (например $A_1{A}_4$). Их половинный центральный угол равен $\frac{2\alpha +\beta }{2}=\frac{\alpha }{2}+\frac{\pi }{3}$, откуда
$$A_1{A}_4=2R\sin (\frac{\alpha }{2}+\frac{\pi }{3}).$$ Подставляя $\sin$ через $a/(2R)$ и выражая $\cos \frac{\alpha }{2}$ через $a,b,R$, получаем простое сокращение
$$A_1{A}_4=a+b.$$
Итого:
$$A_i{A}_{i+2}=\sqrt{a^2+ab+b^2},A_i{A}_{i+3}=a+b.$$
Дополнительно, радиус окружности и связи соcтавляют
$$3R^2=a^2+ab+b^2,R=\sqrt{\frac{a^2+ab+b^2}{3}},$$ $$\sin \frac{\alpha }{2}=\frac{a}{2R},\sin \frac{\beta }{2}=\frac{b}{2R},\alpha +\beta =\frac{2\pi }{3}.$$
Краткий вывод: при любых положительных $a\ne b$ существует единственный вписанный шестиугольник с попеременно равными сторонами; он невырожденный и невыпуклый (точнее — всегда выпуклый, т.е. не самопересекающийся). Диагонали равны $\sqrt{a^2+ab+b^2}$ (через одну вершину) и $a+b$ (противоположные вершины).