Нет, не всегда можно определить род имени прилагательного, так как в русском языке есть исключения из общих правил. Например, прилагательные, образованные от иностранных слов или от имён собственных, могут иметь изменяемую форму и относиться как к мужскому, так и к женскому роду (например, "бумажный" - бумажная книга, бумажный лист). Также существует ряд прилагательных, которые употребляются только в определенном роде, не имея вариантов для других родов (например, "березовый" - березовая роща).