Правило написания "НЕ" в данном случае основывается на том, что после "НЕ" следует слово начинающееся с согласной буквы (модный). Таким образом, правильно писать "НЕмодный".