Для начала, вспомним формулу для косинуса разности двух углов:
cos(A - B) = cosA cosB + sinA sinB

Преобразуем выражение cos3a - cosa:
cos3a - cosa = cos(2a + a) - cos(a) = (cos2a cosa - sin2a sina) - cosa = cos2a cosa - cos a sin 2a - sin2a * sina

Теперь делим на 2sinasin2a:
(cos2a cosa - cos a sin 2a - sin2a sina) / (2sinasin2a) = ((cos2a cosa - cos a sin 2a - sin2a sina) / 2sina) / sin2a
= (cos2a / 2 - cos a * 1 / 2 - sin2a / 2) / sin 2a

Теперь раскроем cos2a:
cos2a = cos^2a - sin^2a = (1 - sin^2a) cosa - sin a 2 cosa + 2 cosa * sin^2a

Подставим это обратно в исходное выражение и упростим:
((1 - sin^2a) cosa - sin a 2 cosa + 2 cosa sin^2a - cos a sin 2a - sin2a sina) / 2sinasin2a
= (cosa - sin^2a cosa - 2 sin a cosa + 2 sin^2a cosa - cosa sin 2a - sin a cos 2a) / 2sinasin2a
= (-sin^2a cosa + 2 sin^2a cosa - sin a cos 2a) / 2sinasin2a
= (-sin^2a cosa + 2 sin^2a cosa - sin a (cos^2a - sin^2a)) / 2sinasin2a
= (- sin^2a cosa + 2 sin^2a cosa - sin a cos^2a + sin^2a sina) / 2sinasin2a
= (-sin^2a cosa + 2 sin^2a cosa - cos a sin a) / 2sina*sin2a

Теперь преобразуем это к начальному заданию:
(sin^2a cosa - 2 sin^2a cosa + cos a sin a) / 2sinasin2a
= (sin^2a cosa - 2 sin^2a cosa + cos a sin a) / 2sina2cosa
= (sin^2a - 2 sin^2a + cos a sin a) / 4sinacosa
= (cos a sin a - sin^2a) / 4sinacosa
= cos a/4 - sen a/4 = 1/4 cos a - 1/4 sen a
= 1/4 cos a - 1/4 sen a = cos 3a - cos a /2 sin a sin 2a. Вывод: (cos3a - cosa) / (2sinasin2a) = 1/4 cos a - 1/4 sen a.