Для начала раскроем скобки:

5x(x-y) + (2x+y)(y-x) = 5x^2 - 5xy + 2xy - 2x^2 + y^2 - xy

Теперь объединим похожие члены:

5x^2 - 5xy + 2xy - 2x^2 + y^2 - xy = 3x^2 - 4xy + y^2

Теперь выражение можно разложить на множители:

3x^2 - 4xy + y^2 = (x - y)(3x - y)