Ответ: 576 перестановок.

Доказательства $несколькометодов$.

Метод 1 — дополнение + «связанный блок».
Всего перестановок 6! = 720. «Плохие» — те, где три тома стоят подряд; рассматриваем эти три как один блок. Тогда вместе с остальными 3 книгами имеется 4 объекта, их перестановок 4!, а внутри блока тома можно переставлять 3! способами. Значит число «плохих» = 4!·3! = 24·6 = 144. Искомое число = 720 − 144 = 576.

Метод 2 — выбор позиций $прямойсчёт$.
Нумеруем места на полке 1..6. Всего наборов трёх занятых позиций C$6,3$ = 20. Из них «плохих» $триподряд$ ровно 4: {1,2,3},{2,3,4},{3,4,5},{4,5,6}. Значит допустимых наборов позиций для трёх томов 20 − 4 = 16. Для каждой такой тройки позиций тома можно переставить 3! способами, а оставшиеся 3 книги — 3! способами. Получаем 16·3!·3! = 16·6·6 = 576.

$Метод3—включенияиисключенияпособытиям«позицииi..i+2занятытремятомами»:длякаждогоi=1..4|Ai|=3!\cdot 3!=36,пересеченияпусты,суммарно4\cdot 36=144«плохих»,итого720-144=576—тотжерезультат.$

Таким образом число перестановок, в которых три тома одной серии не стоят рядом, равно 576.