Давайте распишем поэлементно каждый квадрат.

ctg^2x(1-cos2x)^2 = ctg^2x(1 - 2cos2x + cos^22x) = ctg^2x - 2ctg^2xcos2x + ctg^2xcos^2*2x

Теперь упростим -cos^2*2x:

ctg^2x(1-cos2x)^2 - cos^22x = ctg^2x - 2ctg^2xcos2x + ctg^2xcos^22x - cos^22x = ctg^2x - 2ctg^2xcos2x + ctg^2xcos^22x - cos^22x

Теперь можем объединить некоторые члены:

ctg^2x - 2ctg^2xcos2x + ctg^2xcos^22x - cos^22x = ctg^2x - cos2x(2ctg^2x - cos2x)

Получили окончательный ответ: ctg^2x - cos2x(2ctg^2x - cos2x).