Из первого уравнения найдем значение одной из переменных:

a = 3 - b

Подставим это значение во второе уравнение:

(3 - b)^2 + b^2 = 5
9 - 6b + b^2 + b^2 = 5
2b^2 - 6b + 4 = 0
b^2 - 3b + 2 = 0

Решим квадратное уравнение:

D = (-3)^2 - 412 = 9 - 8 = 1

b1 = (3 + 1) / 2 = 2
b2 = (3 - 1) / 2 = 1

Теперь найдем a, подставив значения b в первое уравнение:

a1 = 3 - 2 = 1
a2 = 3 - 1 = 2

Итак, система имеет два решения: а=1, b=2 и а=2, b=1.