Для начала преобразуем уравнение:
cos(2x) = 11sin(x) - 5
cos(2x) = 11sin(x) - 5
2cos(x)sin(x) = 11sin(x) - 5
2sin(x)cos(x) = 11sin(x) - 5
sin(2x) = 11sin(x) - 5

Теперь можно расписать уравнение более детально:
sin(2x) = 11sin(x) - 5
2sin(x)cos(x) = 11sin(x) - 5
2cos(x) = 11 - 5/sin(x)
cos(x) = (11 - 5/sin(x)) / 2

Теперь заменим sin(x) на y:
cos(x) = (11 - 5/y) / 2
cos(x) = (11y - 5) / 2y

Таким образом, уравнение сводится к:
cos(x) = (11y - 5) / 2y

Теперь можем продолжить решение уравнения.