а) -5y² + 15y + 4ay - 12a

Возьмем пары членов по два члена и вынесем из них общий множитель:
-5y² + 15y = -5y(y - 3)
4ay - 12a = 4a(y - 3)

Общий множитель (y - 3), итак, получаем:
-5y² + 15y + 4ay - 12a = (y - 3)(-5y + 4a + 15)

б) 3m³ - 3mn² + 2m²n - 2n³

Также возьмем пары членов по два члена и вынесем из них общий множитель:
3m³ - 3mn² = 3m(m² - n²)
2m²n - 2n³ = 2n(m² - n²)

Общий множитель (m² - n²), итак, получаем:
3m³ - 3mn² + 2m²n - 2n³ = (m² - n²)(3m + 2n)