Раскроем скобки:

(x^2 + 1)^3 = (x^2 + 1)(x^2 + 1)(x^2 + 1)

(x^2 - 1)^2 = (x^2 - 1)(x^2 - 1)

Также учтем, что x^4 = (x^2)^2

Подсчитаем и преобразуем каждое слагаемое:

(x^2 + 1)^3 = (x^4 + 2x^2 + 1)(x^2 + 1) = x^6 + x^4 + 2x^4 + 2x^2 + x^2 + 2 = x^6 + 3x^4 + 3x^2 + 1

(x^2 - 1)^2 = (x^4 - 2x^2 + 1)(x^2 - 1) = x^6 - 2x^4 + x^2 - x^2 + 1 = x^6 - 2x^4 + 1

Теперь выразим x^4 + 9 = (x^4 + 9) - 9 = x^4

Подставим полученные значения в исходное выражение:

(x^2 + 1)^3 - 3(x^2 - 1)^2 - x^2(x^4 + 9) = x^6 + 3x^4 + 3x^2 + 1 - 3(x^6 - 2x^4 + 1) - x^2(x^4) = x^6 + 3x^4 + 3x^2 + 1 - 3x^6 + 6x^4 - 3 - x^6 = -x^6 + 9x^4 + 3x^2 - 2.