Коротко о правилах
1) С прилагательными. Как правило «не» пишется слитно: $"незнакомый","неглубокий"$. Раздельно — при противопоставлении с «а» или при наличии усилителей отрицания («вовсе не, далеко не»): $"неновый,астарый","вовсенеинтересный"$.
2) С причастиями. Нужно различать полные и краткие причастия:
- Полные причастия: «не» пишется раздельно, если есть зависимые слова (например, дополнения, обстоятельства): $"непрочитаннаямнойкнига"$. Если же причастие утратило глагольную сочетаемость и превратилось в прилагательное (нет зависимых слов), допустима слитная форма: $"непрочитаннаякнига"$.
- Краткие причастия (и краткие формы прилагательных) с «не» обычно пишутся раздельно: $"книганепрочитана"$.
Также: причастный оборот, стоящий после определяемого слова, обычнo выделяется запятыми.
Анализ предложения
Исход: «Книга не прочитанная мной лежала на столе».
1) Пунктуация. «Не прочитанная мной» — это причастный оборот, стоящий после слова «Книга», поэтому он должен быть выделен запятыми: «Книга, не прочитанная мной, лежала на столе.»
2) Правописание «не». Так как у причастия «прочитанная» есть зависимое слово «мной», «не» пишется раздельно: «не прочитанная мной».
Итого правильный вариант: «Книга, не прочитанная мной, лежала на столе.»
Возможные другие корректные варианты:
- «Не прочитанная мной книга лежала на столе.» (оборот стоит перед существительным — запятые не нужны; «не» раздельно, т.к. есть зависимое слово «мной».)
- «Непрочитанная книга лежала на столе.» (слитно, но только если убрать «мной» — причастие используется как прилагательное).