5y + y^2 - (y + 3)^2

Раскрываем квадрат:

5y + y^2 - (y^2 + 6y + 9)

Раскрываем скобки:

5y + y^2 - y^2 - 6y - 9

Упрощаем выражение:

5y - 6y - 9

-y - 9

Ответ: -y - 9