Здесь действует правило согласования времен. Если в главном предложении употребляется Past Simple, то при согласовании, после that мы используем past perfect, таким образом, мы показываем, что действие происходило в прошлом задолго до разговора.