Упростим поэтапно:

(3a - b)(a + b) + (b - 3a)(b + 3a)

3a(a + b) - b(a + b) + b(b + 3a) - 3a(b + 3a)

3a^2 + 3ab - ab - b^2 + b^2 + 3ab - 3a^2

3a^2 + 3ab - ab - 3a^2

2ab