Да, обычно говорят "в" аппарате или "в" устройстве, если речь идет о вставке батарейки. Но иногда люди могут использовать "на" вместо "в", это может быть диалектным вариантом или просто неправильным употреблением слова. Не стоит слишком серьезно относиться к таким мелочам и просто улыбнуться над этим. Важно, чтобы батарейка была установлена правильно и работала как надо.