Можно представить уравнение для данной ситуации.

Пусть х - цена одной тетради.
Тогда Миша заплатил 5х рублей, а Юля - 3х рублей.

Из условия задачи известно, что Миша заплатил на 170 рублей больше Юли:
5х = 3х + 170

Выразим х из этого уравнения:
5х - 3х = 170
2х = 170
х = 85

Таким образом, цена одной тетради равна 85 рубля.

Миша заплатил за 5 тетрадей: 585 = 425 рублей
Юля заплатила за 3 тетради: 385 = 255 рублей

Ответ: Миша заплатил 425 рублей, Юля заплатила 255 рублей.