Первое уравнение:
(x+y)(8-x) = 10
8x - x^2 + 8y - yx = 10
-x^2 - x + 8y - yx + 10 = 0
-x^2 - (x - y)x + 8y + 10 = 0
-x^2 - x(x - y) + 8y + 10 = 0

Второе уравнение:
(x+y)(5+y) = 20
5x + 5y + xy + y^2 = 20
xy + y^2 + 5x + 5y - 20 = 0
y^2 + (x + 5)y + 5x - 20 = 0

Теперь мы имеем систему двух уравнений:
1) -x^2 - x(x - y) + 8y + 10 = 0
2) y^2 + (x + 5)y + 5x - 20 = 0

Решим данную систему численно или изобразим ее графически.