Операция задаётся: $a\ast b=a+b+ab.$
1) Связь с умножением: положим $\phi (a)=1+a$. Тогда
$$\phi (a\ast b)=1+(a+b+ab)=(1+a)(1+b)=\phi (a)\phi (b).$$ Отсюда $\ast$ ассоциативна и коммутативна на $\mathbb{Z}$ (так как умножение целых ассоциативно и коммутативно).
2) Нейтральный элемент $e$ ищем из $a\ast e=a$. Это даёт
$$a+e+ae=a\Rightarrow e+ae=0\Rightarrow e(1+a)=0.$$ Для всех $a\in \mathbb{Z}$ это возможно лишь при $e=0$. Проверка: $a\ast 0=a+0+0=a$. Значит нейтральный элемент $0$.
3) Обратимые элементы в $\mathbb{Z}$: $b$ — обратимый к $a$, если $a\ast b=0$ (нейтральный элемент), т.е.
$$1+(a\ast b)=(1+a)(1+b)=1\Rightarrow (1+a)(1+b)=1.$$ В кольце целых чисел уравнение $(1+a)(1+b)=1$ имеет решения только при $1+a=\pm 1$. Отсюда $a=0$ или $a=-2$. Для $a=0$ обратный тоже $0$; для $a=-2$ имеем $1+a=-1$ и обратный равен $-2$. То есть множества обратимых элементов в $\mathbb{Z}$ под $\ast$ — $\{0\}$ (тривиальная группа) и $\{0,-2\}$ (группа порядка $2$, изоморфная $\{\pm 1\}$ при умножении).
Вывод: на $\mathbb{Z}$ операция даёт абелеву моноиду с нейтральным элементом $0$. Группы (максимальные по включению) в целых числах под этой операцией — тривиальная $\{0\}$ и непустая нетривиальная $\{0,-2\}$.