Фразы "in the park" и "at the park" используются по-разному, в зависимости от контекста.

"In the park" употребляется, когда речь идет о нахождении внутри парка, как о территории с определенными ограниченными границами. Например:

I saw a beautiful bird in the park yesterday. (Я видел красивую птицу в парке вчера.)

"at the park" употребляется, когда речь идет о нахождении в пределах парка как об отдельном месте или локации. Например:

Let's meet at the park at 3pm. (Давай встретимся в парке в 15:00.)

Таким образом, "He was at the park" значит, что он находился в пределах парка, как бы в каком-то конкретном месте. В то время как "He was in the park" означает, что он был внутри парка, на его территории.