Это связано с тем, что в русском языке числительные два и три являются двуглавыми, то есть они могут изменять свою форму в зависимости от рода существительного, которое они определяют. В таком случае они участвуют в согласовании с этим существительным. С числительными четыре и дальше это уже не применимо, поэтому они остаются неизменяемыми и не имеют рода.