1) Правильно: «непрочитанная книга лежит на столе» — «не» пишется слитно. Обоснование: это полное причастие, употреблённое в роли прилагательного (нет зависимых слов), обозначает признак предмета (антонимично «прочитанная»), его можно заменить синонимом без «не» (например, «нелистанная» — условно) или перефразировать «книга, которая не прочитана» — чаще слитно: «непрочитанная книга».
2) Правильно оформить так: «Книга, не прочитанная мной, лежит на столе» — «не» пишется раздельно и причастный оборот выделяется запятыми. Обоснование: причастие имеет зависимое слово («мной»), поэтому сохраняет глагольное значение и пишется с «не» раздельно. То же правило действует при наличии противопоставления («не прочитанная, а купленная») или усилителей отрицания («вовсе не прочитанная»): «не» — раздельно.
Кратко правило: с полными причастиями «не» пишется слитно, если причастие превратилось в прилагательное и нет зависимых слов; раздельно — если есть зависимые слова, противопоставление или усиление отрицания (короткие формы причастий вообще требуют раздельного написания: «не прочитана»).