Для начала раскроем тригонометрические тождества:
cos 2 α = 1 - tg^2 α

Подставим это выражение в исходное уравнение:
cos 2 α∙tg^2 α + 5cos 2 α - 1 = $1-t{g}^2\alpha$∙tg^2 α + 5$1-t{g}^2\alpha$ - 1
= tg^2 α - tg^4 α + 5 - 5tg^2 α - 1
= -tg^4 α + tg^2 α - 4

Теперь продифференцируем данное уравнение, чтобы найти экстремумы:
f'$\alpha$ = -4tg α + 2tg α$1-t{g}^2\alpha$ = -4tg α + 2tg α - 2tg^3 α
= 2tg α$1-t{g}^2\alpha$ - 4tg α
= 2tg α - 2tg^3 α - 4tg α
= -2tg α - 2tg^3 α
= -2tg α$1+t{g}^2\alpha$

Из условия экстремума f'$\alpha$ = 0 или tg α = 0 или tg^2 α = -1. Поскольку tg α не может быть равно 0, то tg^2 α = -1. Отсюда tg α = ±1.

Теперь найдем наибольшее значение функции:

Подставляем tg α = 1
tg^2 α = 1
-1 + 1 - 4 = -4

Подставляем tg α = -1
tg^2 α = 1
-1 + 1 - 4 = -4

Следовательно, наибольшее значение выражения cos 2 α∙tg^2 α + 5cos 2 α - 1 равно -4.