Для решения этой системы уравнений преобразуем ее к виду, который удобно решать:

Раскроем первое уравнение:
x^2 + 2xy + y^2 - 5xy = 11
x^2 - 3xy + y^2 = 11 (1)

Теперь решим второе уравнение:
2x^2 - 5xy + 2y^2 = 36
2(x^2 - 3xy + y^2) + 3xy = 36
2(11) + 3xy = 36
22 + 3xy = 36
3xy = 14 (2)

Подставим (2) в (1):
x^2 - 14/x + y^2 = 11

Теперь решим систему уравнений как квадратное уравнение относительно одной переменной. Получится два решения для x и для y.