Нет, не всегда можно определить род имени прилагательного, так как в русском языке существуют прилагательные, у которых род не указывается явно.

Примеры:

"новый" - это прилагательное среднего рода, но без контекста нельзя однозначно определить его род."зеленый" - также прилагательное без указания рода, может относиться как к мужскому, так и к женскому или среднему роду.