Для начала преобразуем уравнение, используя связь между тангенсом и котангенсом:
3ctgx - tg3x = 3ctg2x + 6ctg4x
3ctgx - 3tgx/ctg3x = 3/ctg2x + 6/ctg4x
3ctgx - 3tgx/(3tgx - tg^3x) = 3/(2tgx) + 6/(4tgx)

Упростим выражение:
3ctgx - tgx/(tgx(3 - tg^2x)) = 3/(2tgx) + 3/(2tgx)
3ctgx - 1/(3 - tg^2x) = 3/(2tgx) + 3/(2tgx)
3ctgx - 1/(3 - tg^2x) = 3/tgx

Теперь получим общее уравнение кубической функции:
3ctgx - 1/(3 - tg^2x) - 3/tgx = 0

Решим это уравнение как кубическое уравнение.