При ударе молоток передает гвоздю максимальную энергию, когда их скорости после удара равны. Так как удар неупругий, то можно записать закон сохранения импульса:
m1 V1 = (m1 + m2) V2,
где m1 - масса молотка, V1 - скорость молотка перед ударом, m2 - масса гвоздя, V2 - скорость молотка и гвоздя после удара.

Так как молоток падает со скоростью V1 = 0, то закон сохранения импульса принимает вид:
m 0 = (m + M) V2,
V2 = 0.

А это противоречит условию, что молоток передает гвоздю максимальную энергию. Значит, отношение масс m/M, при котором молоток передает гвоздю максимальную энергию, не имеет никакого значения.