Для начала решим второе уравнение системы:

2x + y = 3

y = 3 - 2x

Подставим y в первое уравнение:

x^2 + 3x(3-2x) + (3-2x)^2 = 11

x^2 + 9x - 6x^2 + 9 - 12x + 4x^2 = 11

-2x^2 - 3x + 9 = 11

-2x^2 - 3x - 2 = 0

Далее, найдем корни квадратного уравнения:

D = (-3)^2 - 4(-2)(-2) = 9 - 16 = -7

Так как дискриминант меньше нуля, у уравнения нет действительных корней. Значит, система уравнений не имеет решений.