Решение задачи:
a^2 + b^2 + c^2 = 26
(a - b)^2 + (b - c)^2 + (a - c)^2 = 26 - 2(ab + ac + bc)

(a - c)^2 + (a - b)^2 + (b - c)^2 = 26 - 2(-11)
a^2 - 2ac + c^2 + a^2 - 2ab + b^2 + b^2 - 2bc + c^2 = 48
2(a^2 + b^2 + c^2) - 2(ab + ac + bc) = 48
2*26 - 2(-11) = 48
52 + 22 = 48
74 = 48

Таким образом, данная система уравнений не имеет решения.

Решение задачи:
b^2 + a^2/4 = 1
ab = 3

(a - b)^2 = a^2 - 2ab + b^2
(a - b)^2 = a^2 - 6 + b^2
a^2 - 6 + b^2 = 1
a^2 + b^2 = 7

a^2 + b^2 + 2ab = (a + b)^2
a^2 + b^2 + 2ab = 3
7 + 6 = 3
13 ≠ 3

Таким образом, данная система уравнений также не имеет решения.