Для начала раскроем скобки:

(a^2 - 5)^2 - (2a + 3)^2 = a^4 - 10a^2 + 25 - (4a^2 + 12a + 9)
= a^4 - 10a^2 + 25 - 4a^2 - 12a - 9
= a^4 - 14a^2 - 12a + 16

Теперь уравнение принимает вид a^4 - 14a^2 - 12a + 16 = 0

Решить данное уравнение можно методом подстановки или с помощью онлайн калькулятора или программы для решения уравнений. Получится, что коэффициент a равен:

a = -2, a = 2, a = -1 + √3, a = -1 - √3