Сначала упростим выражение:
(sina+cosa)^2 = sin^2a + 2sinacosа + cos^2a = sin^2a + cos^2a + 2sinacosа = 1 + 2sinacosа

Теперь подставим a=60:
(1 + 2sin60cos60) / sin^2(60) - (1 + ctg^2(60))
(1 + 2(sqrt(3)/2)(1/2)) / (sin(60))^2 - (1 + (1/sqrt(3))^2)
(1 + sqrt(3)/2) / (sin(60))^2 - (1 + 1/3)
(1 + sqrt(3)/2) / (sqrt(3)/2)^2 - (4/3)
(1 + sqrt(3)/2) / (3/4) - 4/3
(1 + sqrt(3)/2) 4/3 - 4
(4 + 2sqrt(3)) / 3 - 4
(4 + 2sqrt(3) - 12) / 3
(2sqrt(3) - 8) / 3
(2*(sqrt(3) - 4)) / 3

Ответ: (2*(sqrt(3) - 4)) / 3