Для начала выполним операции в скобках:

((8/√13-√5)-(2/√13+√11)-√5) = (8/√13 - √5 - 2/√13 - √11 - √5) = (6/√13 - 2√5 - √11)

Теперь возводим полученное выражение в квадрат:

(6/√13 - 2√5 - √11)^2 = (6/√13)^2 + (2√5)^2 + (√11)^2 - 2(6/√13)(2√5) - 2(6/√13)(√11) - 2(2√5)(√11)

= 36/13 + 20 + 11 - 24√5/√13 - 12√11/√13 - 4√55

= 67 + 36/√13 - 12√11/√13 - 4√55

= 67 + 36√13/13 - 12√11/√13 - 4√55

= 67 + 36√13/13 - 12√11√13/13 - 4√55

= 67 + 36√13/13 - 12√143/13 - 4√55

= (67 + 36√13 - 12√143 - 4√55)/13

Поэтому ((8/√13-√5)-(2/√13+√11)-√5)^2 = (67 + 36√13 - 12√143 - 4√55)/13.