Правильно будет написать "непростой". Слово "непростой" образовано от отрицательной частицы "не" и слова "простой" и означает "сложный, трудный". Таким образом, в данном предложении правильно использовать слово "непростой", чтобы передать идею, что задача оказалась сложной. Исправленное предложение будет звучать так:

"Комната была маленькой, и рассадить всех за партами оказалось непростой задачей."