Для начала преобразуем исходное выражение:

(sin^2(3a) - cos^2(2a)) / cos(5a)

Применим тригонометрические тождества:

sin^2(3a) - cos^2(2a) = (1 - cos(6a))/2 - (cos(4a) + 1)/2
= (1 - cos(6a) - cos(4a) - 1) / 2
= (-cos(4a) - cos(6a)) / 2
= -(cos(4a) + cos(6a)) / 2
= -[2cos(5a)cos(a) + 2cos(5a)cos(a)] / 2
= -2cos(5a)cos(a)

Итак, исходное выражение упрощается до:

-2cos(5a)cos(a) / cos(5a)

Теперь упростим до:

-2cos(a)