Для решения данной системы уравнений можно воспользоваться методом подстановки.

Из уравнения 2) выразим x или y:
xy - x - y = 5
x(y-1) = y + 5
x = (y + 5) / (y - 1)

Подставим это выражение в уравнение 1):
((y + 5) / (y - 1))^2 + y^2 = 25
(y^2 + 10y + 25) / (y^2 - 2y + 1) + y^2 = 25
y^2 + 10y + 25 + y^2(y^2 - 2y + 1) = 25(y^2 - 2y + 1)
y^2 + 10y + 25 + y^4 - 2y^3 + y^2 = 25y^2 - 50y + 25
y^4 - 2y^3 + y^2 + 35y = 0
y(y^3 - 2y^2 + y + 35) = 0
y(y - 5)(y^2 + 3y + 7) = 0

Отсюда получаем два набора корней:

y = 0 => x = -5 или x = 5y = 5 => x = -5 или x = 5y = -3/2 + sqrt(13)/2 i и y = -3/2 - sqrt(13)/2 i (комплексные корни)

Таким образом, решения системы уравнений: (x, y) = (-5, 0), (5, 0), (-5, 5), (5, 5).