Для начала преобразуем уравнение:

cos^2x + cos^2x + 2cos^2x - sin2x = 1 + cos^2x - sin2x = 0

sin2x = 1 + cos^2x

2sinxcosx = 1 + cos^2x

2sinxcosx = sin^2x + cos^2x

sinxcosx = sin^2x + cos^2x

sinxcosx = 1

sin(2x) = 1

2x = π/2 + 2πk, где k - целое число

x = π/4 + πk

Так как x принадлежит отрезку [3π/2; 5π/2], то:

1) x = 3π/2 (k = 2)

2) x = 5π/4 (k = 3)

Ответ: корни уравнения на отрезке [3π/2; 5π/2] равны 3π/2 и 5π/4.