Для начала воспользуемся тригонометрическим тождеством тангенса суммы:

tg(a + b) = (tg(a) + tg(b)) / (1 - tg(a) * tg(b))

Применим его к выражению tg^2(7pi/18):

tg(7pi/18) = tg(pi/18 + 2pi/9) = (tg(pi/18) + tg(2pi/9)) / (1 - tg(pi/18) * tg(2pi/9))

tg(2pi/9) = tg(pi/18 + pi/9) = (tg(pi/18) + tg(pi/9)) / (1 - tg(pi/18) * tg(pi/9))

tg(pi/9) = tg(pi/18 + pi/18) = (tg(pi/18) + tg(pi/18)) / (1 - tg(pi/18) * tg(pi/18))

Таким образом, получаем:

tg(2pi/9) = (2tg(pi/18)) / (1 - tg^2(pi/18))
tg(7pi/18) = ((tg(pi/18) + (2tg(pi/18))) / (1 - tg(pi/18) * (2tg(pi/18))) = (3tg(pi/18)) / (1 - 2tg^2(pi/18))

Теперь подставим найденные значения в исходное выражение:

tg^2(pi/18) + tg^2(5pi/18) + tg^2(7pi/18) = tg^2(pi/18) + tg^2(5pi/18) + (3tg(pi/18))^2 / (1 - 2tg^2(pi/18))

Раскроем скобки и упростим выражение:

tg^2(pi/18) + tg^2(5pi/18) + 9(tg^2(pi/18)) / (1 - 2tg^2(pi/18))

Учитывая, что tg(pi/18) = sin(pi/18) / cos(pi/18) = (sqrt(5) - 1) / (2 sqrt(2 + sqrt(5))), tg(pi/18)^2 = (9 - 6 sqrt(5)), подставим эти значения:

tg^2(pi/18) + tg^2(5pi/18) + 9(tg^2(pi/18)) / (1 - 2tg^2(pi/18)) = (9 - 6 sqrt(5)) + (9 - 6 sqrt(5)) + 9(9 - 6 sqrt(5)) / (1 - 2(9 - 6 sqrt(5)))

Используя значения sin(pi/18), cos(pi/18), cos(2pi/9) и cos(2pi/3), можно сделать необходимые вычисления, и тем самым доказать, что tg^2(pi/18) + tg^2(5pi/18) + tg^2(7pi/18) = 9.