Первое уравнение: (3х + у)² + 2(х - у)² = 96
Раскроем скобки:
(3х + у)(3х + у) + 2(х - у)(х - у) = 96
(3х)² + 23ху + у² + 2(х)² - 2ху + у² = 96
9х² + 6ху + у² + 2х² - 2ху + у² = 96
11х² + 4ху + 2у² = 96
11х² + 4ху + 2у² - 96 = 0

Второе уравнение: 3х + у = 2(х - у)
3х + у = 2х - 2у
3х - 2х + у + 2у = 0
х + 3у = 0

Итак, у нас есть два уравнения:
1) 11х² + 4ху + 2у² - 96 = 0
2) х + 3у = 0

Можно попытаться решить эту систему методами алгебры, но убедимся в том, что решение есть, перед тем как продолжать.