Да, "he rang me up at 1 o'clock yesterday" указывает на конкретный момент в прошлом. В данном случае используется глагол "rang" $позвонил$, так как действие было конкретным и было выполнено в определенное время. Глагол "was ringing" $звонил$ подразумевал бы, что действие происходило в течение какого-то временного периода в прошлом, а не в конкретный момент.