Для того чтобы множество R с действием "○" было группой, необходимо чтобы выполнялись следующие аксиомы группы: ассоциативность, существование нейтрального элемента, существование обратного элемента и замкнутость относительно данной операции.

Проверим свойство ассоциативности:
(a ○ b) ○ c = (a + b - 5ab/3) ○ c = (a + b - 5ab/3) + c - 5(a + b - 5ab/3)c/3 = a + b + c - 5ab/3 - 5(a + b - 5ab/3)c/3
a ○ (b ○ c) = a ○ (b + c - 5bc/3) = a + b + c - 5bc/3 - 5a(b + c - 5bc/3)/3 = a + b + c - 5bc/3 - 5ab/3 + 5abc/3
Таким образом, операция не является ассоциативной.

Для множества R/{p} поищем элемент p, который является нейтральным элементом относительно операции "○":
a ○ p = a + p - 5ap/3 = a, откуда следует p = 0

Проверим существование обратного элемента для произвольного элемента a ∈ R/{p}:
a ○ a^(-1) = a + a^(-1) - 5aa^(-1)/3 = 0, откуда a^(-1) = -a/(1 - 5a/3)

Проверим замкнутость множества R/{p} относительно операции "○":
Пусть a, b ∈ R/{p}, где a ≠ 0 и b ≠ 0
a ○ b = a + b - 5ab/3 ∈ R/{p}, так как 5ab/3 ≠ 1

Таким образом, число p = 0 и множество R/{0} образуют группу относительно данной операции.