Для решения этой задачи нужно применить законы сохранения импульса и энергии.

Сначала найдем начальную скорость человека после того, как он поймал мяч.
Импульс человека до пойманного мяча равен импульсу человека с мячом:
60кг 0м/с = (60кг + m) v
где v - скорость движения человека и мяча после пойманного мяча.

Отсюда получаем: v = - 60 * 20 / (60 + m)

Запишем закон сохранения энергии:
Энергия до столкновения = Энергия после столкновения
mV^2/2 = (60 + m) v^2 / 2 + mgh + Tt
где m - масса мяча, V - начальная скорость мяча, h - высота, с которой человек откатился, Tt - работа по трению.

Отсюда получаем:
m (20)^2 / 2 = (60 + m) v^2 / 2 + m 10 0,028 + 0,05 m 10 0,028
m 200 = (60 + m) v^2 + m 0,28 + 0,14m
200m = (60 + m) * v^2 + 0.14m

Подставляем значение v в уравнение:
200m = (60 + m) (- 60 20 / (60 + m))^2 + 0.14m

Путем решения этого уравнения найдем значение m.