Многочлен будет выглядеть следующим образом:

(5x + 8y)(8y - 5x) = 5x8y + 5x(-5x) + 8y8y + 8y(-5x)
= 40xy - 25x^2 + 64y^2 - 40xy
= 64y^2 - 25x^2.