Обозначим через x1, x2, x3 - количество книг на каждой полке.

Составим уравнения, по условию задачи:

x1 = x2 / 2

x1 = x3 + 3

x1 + x2 + x3 = 77

Выразим x2, x3 через x1

x2 = x1 * 2

x3 = x1 - 3

Подставим в третье уравнение:

x1 + x1 * 2 + x1 - 3 = 77

Решим его:

4*x1 = 77 + 3

x1 = 20

Найдем x2, x3:

x2 = x1 * 2 = 40

x3 = x1 - 3 = 17

Ответ на 1, 2, 3 полках было 20, 40, 17 книг соответственно.