(5-x)^2 = 3x(5-x)

Раскроем квадрат:

25 - 10x + x^2 = 15x - 3x^2

Получим уравнение в виде квадратного уравнения:

x^2 - 8x + 25 = 0

Далее решаем квадратное уравнение:

D = (-8)^2 - 4125 = 64 - 100 = -36

Так как дискриминант отрцательный, уравнение не имеет действительных корней.