Для начала раскроем скобки:

(x^2 + x - 3)(x^2 + x - 8) = 36

x^4 + x^3 - 8x^2 + x^3 + x^2 - 8x - 3x^2 - 3x + 24 = 36

x^4 + 2x^3 - 10x^2 - 3x + 24 = 36

Поделим обе стороны на 2:

x^4 + 2x^3 - 10x^2 - 3x + 24 = 36
x^4 + 2x^3 - 10x^2 - 3x - 12 = 0

После чего нужно решить этот квадратный трехчлен методом подбора или графически.