Выделение общего множителя:

xy(1 - xy + x^2y^2) - a(1 - x^2y^2)

Факторизация:

xy(1 - xy + x^2y^2) - a(1 - x^2y^2)
= xy(1 - xy + x^2y^2) + a(x^2y^2 - 1)
= xy(1 - xy + x^2y^2 + a(x^2y^2 - 1))
= xy(1 - xy + x^2y^2 + a(x^2y^2 - 1))
= xy(1 - xy + x^2y^2 + a(x^2y^2 - 1))
= xy(1 - xy + x^2y^2 + a(-1 + x^2y^2))
= xy(1 - xy + x^2y^2 - a + ax^2y^2)
= x^2y(1 - xy + axy - a)
= xy(x^2y - x + ax - a)
= xy(x - a)(xy - a)