Местоимения "я" и "ты" действительно не изменяются по родам. Для того чтобы это продемонстрировать, рассмотрим их использование с глаголами прошедшего времени разных родов:

Я (мужского рода) пил вчера кофе.
Ты (мужского рода) ел пирог вчера.

Я (женского рода) купила новую книгу на прошлой неделе.
Ты (женского рода) посмотрела интересный фильм вчера.

Я (среднего рода) пила чай вчера.
Ты (среднего рода) читал книгу в прошлом месяце.

Как видим, во всех предложениях местоимения "я" и "ты" остались неизменными независимо от рода существительных, с которыми они используются.