Сначала раскроем скобки в числителе:
[tex]\frac{(5ab+a^{-3})^{2}}{5a^{4}b^{-2}+b^{-3}} - 5a^{-2}b^{4} = \frac{25a^{2}b^{2}+10a^{2}b^{-2}+a^{-6}}{5a^{4}b^{-2}+b^{-3}} - 5a^{-2}b^{4}[/tex]

Далее приведем все члены дроби к общему знаменателю:
[tex]\frac{25a^{2}b^{2}+10a^{2}b^{-2}+a^{-6}}{5a^{4}b^{-2}+b^{-3}} - 5a^{-2}b^{4} = \frac{25a^{2}b^{5}+10a^{4}+1}{5a^{4}b^{-2}+b^{-3}} - 5a^{-2}b^{4}[/tex]

Теперь приведем все к общему знаменателю и сложим дроби:
[tex]\frac{25a^{2}b^{5}+10a^{4}+1}{5a^{4}b^{-2}+b^{-3}} - 5a^{-2}b^{4} = \frac{25a^{2}b^{5}+10a^{4}+1-5a^{4}b^{-2}b^{4}-5a^{-2}b^{4}}{5a^{4}b^{-2}+b^{-3}} = \frac{25a^{2}b^{5}+10a^{4}+1-5a^{2}-5a^{2}}{5a^{4}b^{-2}+b^{-3}} = \frac{20a^{4}+25a^{2}b^{5}-10a^{2}+1}{5a^{4}b^{-2}+b^{-3}} [/tex]

Таким образом, мы получили выражение в виде несократимой дроби без степеней с отрицательными показателями:
[tex]\frac{20a^{4}+25a^{2}b^{5}-10a^{2}+1}{5a^{4}b^{-2}+b^{-3}}[/tex]