Для вычисления этого кратного несобственного интеграла сначала преобразуем подынтегральное выражение:
-5x^2 + 8xy - 5y^2 = -(5x^2 - 8xy + 5y^2) = -(5x - 5y)^2 = -5(x - y)^2

Теперь заметим, что это выражение можно представить в виде полного квадрата от переменной (x - y). Таким образом, выражение можно переписать в виде:
e^(-5(x - y)^2)

Теперь можно интегрировать это выражение по области бесконечности отрицательной по x до положительной в зависимости от положения y:
∫ e^(-5(x - y)^2) dx

Проинтегрировав данное выражение по x, достаточно просто получить значение интеграла без y. Теперь возьмем полученный результат и проинтегрируем его по области отрицательной бесконечности до положительной по y, обратив внимание на то, что при этом интегрирование по x закончится и интеграл от y будет зависеть только от параметра y.

Таким образом, итоговый результат будет даваться решением двойного несобственного интеграла от -∞ до +∞ e^(-5(x - y)^2) dxdy.