Для решения данной системы уравнений можно воспользоваться методом подстановки или методом сложения/вычитания уравнений.

Давайте выразим y из первого уравнения и подставим его во второе уравнение:

Из первого уравнения:
x^2 - xy - y^2 = 3
y^2 = x^2 - xy - 3
y = sqrt(x^2 - xy - 3)

Подставляем y во второе уравнение:
2x^2 - x(sqrt(x^2 - xy - 3)) - (x^2 - xy - 3) = 5
2x^2 - x(sqrt(x^2 - xsqrt(x^2 - x^2 + 3) - 3) - (x^2 - xsqrt(x^2 - xsqrt(x^2 - x^2 + 3) - 3) - 3 = 5
2x^2 - xsqrt(x^2 - xsqrt(x^2 - x^2 + 3) - 3) - x^2 + xsqrt(x^2 - xsqrt(x^2 - x^2 + 3) - 3) + 3 = 5
x(sqrt(x^2 - xsqrt(x^2 - x^2 + 3) - 3) - sqrt(x^2 - xsqrt(x^2 - x^2 + 3) - 3) = 8

Опередлим y:

y = sqrt(x^2 - xy - 3) = sqrt(x^2 - xsqrt(x^2 - xsqrt(x^2 - x^2 + 3) - 3) - 3)

x(sqrt(x^2 - xsqrt(x^2 - x^2 + 3) - 3) - sqrt(x^2 - xsqrt(x^2 - x^2 + 3) - 3) = 8

Ответ:
Система уравнений имеет множество решений, их можно найти численными методами или графически.