Для начала раскроем скобки в левой части уравнения:

(x^2 - a^2)^2 = 4ax + 1
(x^2 - a^2)(x^2 - a^2) = 4ax + 1
(x^4 - 2a^2x^2 + a^4) = 4ax + 1
x^4 - 2a^2x^2 - 4ax + a^4 - 1 = 0

Далее проведем замену переменной,
y = x^2
Получим:
y^2 - 2a^2y - 4axy + a^4 - 1 = 0

Решим это квадратное уравнение относительно y:
y^2 - (4ax + 2a^2)y + (a^4 - 1) = 0

Далее применим квадратное уравнение:
D = (4ax + 2a^2)^2 - 4(a^4 - 1)
D = 16a^2x^2 + 16a^3x + 4a^4 - 4a^4 + 4
D = 16a^2x^2 + 16a^3x + 4

y = ((-4ax - 2a^2) ± sqrt(16a^2x^2 + 16a^3x + 4)) / 2

Итак, найдем y и, соответственно, x.