Слово "невежа" происходит от древнерусского "вежа", что означает знающий, осведомлённый. Поэтому в данном случае приставка "не-" является частью корня слова.

С другой стороны, в слове "неделя" приставка "не-" действительно является приставкой, обозначающей отрицание (не-делю - не рабочий день).