Пусть два числа, сумма квадратов которых равна 20 и произведение 8, будут обозначены как a и b.

Тогда у нас есть два уравнения:
a^2 + b^2 = 20
a*b = 8

Из второго уравнения выразим одно число через другое a = 8/b и подставим его в первое уравнение:
(8/b)^2 + b^2 = 20
64/b^2 + b^2 = 20
64 + b^4 = 20b^2
b^4 - 20b^2 + 64 = 0

Это уравнение является квадратным уравнением относительно b^2. Решим его:

D = 20^2 - 4164 = 400 - 256 = 144
b^2 = (20 +- sqrt(144))/2 = (20 +- 12)/2 {положим b^2 > 0, иначе числа будут комплексными}
b^2 = 16 или b^2 = 4
b = 4 или b = -4

Таким образом, два числа - 4 и 2.