(x^2 - 5x - 4)^2 - 3(x^3 - 5x^2 - 4x) + 2x^2 = 0

Раскроем скобки:

(x^4 - 10x^3 + 25x^2 - 20x + 16) - 3x^3 + 15x^2 + 12x + 2x^2 = 0

x^4 - 10x^3 + 25x^2 - 20x + 16 - 3x^3 + 15x^2 + 12x + 2x^2 = 0

Распишем все слагаемые:

x^4 - 10x^3 + 25x^2 - 20x + 16 - 3x^3 + 15x^2 + 12x + 2x^2 = 0

Сгруппируем слагаемые по степени x:

x^4 - 13x^3 + 42x^2 - 8x + 16 = 0

Теперь это уравнение 4-й степени. Нам нужно либо решить его численно, либо воспользоваться подходящими методами решения уравнений высоких степеней.