Группируем

(х³-4ху²)+(2х²у-8у³)

Из первой скобки выносим х из второй выносим 2y

x(х²-4у²)+2y(х²-4у²)

Теперь получили две одинаковых скобки. Выносим их. Ответ:

(х²-4у²)(x+2y)