Выразим a^3 и b^3 через a и b:
a^3 = (a+b)(a^2-ab+b^2) = n(a^2-ab+b^2),
b^3 = (a+b)(a^2-ab+b^2) = n(a^2-ab+b^2).

Теперь сложим обе части уравнений:
a^3 + b^3 = n(a^2-ab+b^2) + n(a^2-ab+b^2) = 2n(a^2-ab+b^2) = m.

Разделим обе части на 2n:
a^2-ab+b^2 = m/2n.

Умножим выражение a+b=n на 2 и подставим в него результат:
a+b=n,
2a+2b=2n,
(a+b)^2 = n^2,
a^2+2ab+b^2 = n^2,
a^2+b^2+2ab = n^2.

Из этого выражения получаем:
a^2+b^2 = n^2 - 2ab.

Подставим это в выражение a^2-ab+b^2 = m/2n:
n^2 - 2ab - ab = m/2n,
n^2 - 3ab = m/2n,
ab = (n^2 - m/2n)/3.