Давайте обозначим количество плиток за x.

При укладывании по 9 плиток остаётся на 5 плиток меньше:
x % 9 = 9 * n + 5

При укладывании по 8 плиток:
x % 8 = 8 * m

Таким образом, у нас есть система уравнений:
x = 9 n + 5
x = 8 m

Уже видно, что данная система не имеет решения, так как из первого уравнения следует, что x всегда оканчивается на 5 при делении на 9, а из второго уравнения x всегда делится на 8. Таким образом, наши уравнения противоречат друг другу, и их решение невозможно.