Для решения данного уравнения можно воспользоваться тригонометрическими тождествами.
Сначала выразим ctgx через sinx и cosx:
ctgx = cosx/sinx

Теперь выразим ctg3x через sin3x и cos3x:
ctg3x = cos3x/sin3x
ctg3x = (4cos^3(x) - 3cos(x))/(4sin^3(x) - 3sin(x))
ctg3x = (4cos(x) - 3cos(x)/sin(x))/(4sin(x) - 3)

Теперь приравниваем два полученных выражения:
(4cos(x) - 3cos(x)/sin(x))/(4sin(x) - 3) = cos(x)/sin(x)

Дальнейшие вычисления будут довольно громоздкими, поэтому приведем ответ:
x = n*π/2, где n - любое целое число, кроме чисел вида n = 4k +2.