Первым шагом раскроем скобки внутри скобок:

ab(a+b)-a(b(3b-2a)-a²+b(3a-2b))

Раскроем скобки внутри первой скобки:

ab^2 + ab - a(3b^2 - 2ab - a² + 3ab - 2b)

Упростим выражения:

ab^2 + ab - 3ab^2 + 2a^2 + 3ab - a² + 3a^2 - 2ab

Теперь объединим подобные члены:

-ab^2 + 2a^2 + a^2 = 3a^2 - ab^2

-ab + 3ab - 2ab = 0

Объединяем полученные члены:

3a^2 - ab^2

Ответ: 3a^2 - ab^2.