Для начала выразим C и D через a и b:

C = b/a^2 - ab + a/b^2 - ab
C = (b/a^2 - 2ab + a/b^2) - ab
C = (b - a)^2 / a^2b^2 - ab

D = (a^2 - b^2) / (a^2 - 2ab + b^2)
D = (a - b)(a + b) / (a - b)^2
D = a + b / (a - b)

Теперь сравним C и D:

C = (b - a)^2 / a^2b^2 - ab
D = a + b / (a - b)

При a и b > 0, значение D всегда будет больше, чем значение C.