Сначала решим второе уравнение относительно x:
xy^2 - x^2y = -2
x(y^2 - xy) = -2
x = -2 / (y^2 - xy)

Подставим x в первое уравнение:
(-2 / (y^2 - xy)) - y + y(-2 / (y^2 - xy)) = 3
(-2 - y(y^2 - xy) + 2y) / (y^2 - xy) = 3
(-2 - y^3 + xy^2 + 2y) / (y^2 - xy) = 3
-2 - y^3 + xy^2 + 2y = 3(y^2 - xy)
-2 - y^3 + xy^2 + 2y = 3y^2 - 3xy
-2 - y^3 + xy^2 + 2y = 3y^2 + 3x(y - 1)
-2 - y^3 + xy^2 + 2y = 3y^2 + 3x(-2 / (y^2 - xy) - 1)

Подставляем полученное уравнение в WolframAlpha и находим, что x = 1, y = 2.