Для замены y = x + 1/x проведем следующие преобразования:

Умножим уравнение на x^2:

x^6 + ax^5 + bx^4 + ax^3 + x^2 = 0

Теперь выпишем выражение для y = x + 1/x и для y^2 = x^2 + 2 + 1/x^2:

y^2 = $x+1/x$^2 = x^2 + 2 + 1/x^2

Теперь подставим x^2 = y^2 - 2 в полученное уравнение:

y^3 - 2y + ay^2 - 2a + by - 2a = 0

y^3 + ay^2 + by - 2y = 0

Это уравнение уже удобно решать для значения y.