1) Введём элементарные симметрические суммы $s_1=x+y+z,s_2=xy+yz+zx,s_3=xyz$. По условию $s_1=3$.
2) Из суммы квадратов $x^2+y^2+z^2=s_1^2-2s_2$ получаем
$$5=3^2-2s_2\Rightarrow s_2=\frac{9-5}{2}=2.$$
3) По формуле для сумм степеней (Ньютоновы тождества) для третьей степени
$$p_3:=x^3+y^3+z^3=s_1^3-3s_1{s}_2+3s_3.$$ Подставляя $p_3=7,s_1=3,s_2=2$, находим
$$7=27-18+3s_3\Rightarrow s_3=-\frac{2}{3}.$$
4) Значит $x,y,z$ — корни кубического многочлена
$$t^3-s_1{t}^2+s_{2}t-s_3=t^3-3t^2+2t+\frac{2}{3}=0.$$ Умножив на $3$: $3t^3-9t^2+6t+2=0$.
5) Стратегия нахождения всех троек: найти корни этого кубического и взять все перестановки корней как решения. Для явного нахождения корней можно:
- применить формулы Виета/Ньютон (что мы сделали) для получения коэффициентов;
- решить кубическое уравнение Кардано для явных радикалов;
- либо найти численные приближения (например методом Ньютона).
6) О природе корней: вычислив дискриминант кубического (для $t^3-3t^2+2t+\frac{2}{3}$) получаем $\Delta =-8<0$. Следовательно ровно один корень действительный и два — комплексно-сопряжённые. Значит решений в виде троек действительных чисел не существует; все комплексные тройки — перестановки трёх корней кубика.
7) Численные приближения корней:
$$x_1\approx -0.2400,x_{2,3}\approx 1.6200\pm 0.3914i,$$ и все решения системы — все перестановки $(x_1,x_2,x_3)$.
Дополнительные полезные идеи/теоремы: Ньютоновы тождества, теорема Виета, теория дискриминанта (для числа действительных корней), Кардано (для явных выражений в радикалах), фундаментальная теорема о симметрических многочленах (показывает, что любые симметрические суммы выражаются через $s_1,s_2,s_3$).