Можно ответить на "хм" следующим образом: "Что-то задумался?" или "Чем тебе не нравится?" либо просто улыбнуться и продолжить разговор.