Для решения этой системы уравнений методом подстановки начнем с первого уравнения:

1) ху - у^2 = 6
=> у = (ху - 6) / у

Подставим полученное значение у во второе уравнение:

2) х^2 - х((ху - 6) / у) = 10
=> х^2 - х^2u/y + 6x/y = 10
=> x^2 - xu + 6x = 10y
=> x(x - u) = 10y

Теперь подставим полученное выражение в первое уравнение:

xu - u^2 = 6
=> xu - x(x - 10y) = 6
=> xu - x^2 + 10xy = 6
=> x(u - x + 10y) = 6
=> x(u + 10y) = 6

Теперь мы имеем систему уравнений:
1) x(u + 10y) = 6
2) x(x - u) = 10y

Далее необходимо продолжить итерации подстановки и решить систему численно или графически.