Кратко о природе ошибок и практические способы их уменьшить.
Основные источники ошибок
- Представление: числа в плавающей точке хранятся с конечной мантиссой. Машинный эпсилон: ${\epsilon }_{\text{mach}}$ (для IEEE‑754 double ${\epsilon }_{\text{mach}}\approx 2^{-52}\approx 2.22\cdot 10^{-16}$).
- Округление при каждой арифметической операции: результат операции округляется до ближайшего representable числа (±$O({\epsilon }_{\text{mach}})$).
- Катастрофическое сокращение (cancellation): вычитание близких по величине чисел уничтожает значимые цифры.
- Накопление ошибок: многократные операций накапливают ошибки и могут усилиться плохой обусловленностью задачи.
Иллюстрации
- Малые прибавления к большим числам: в double $1+10^{-16}$ может округлиться до $1$. В общем: если $|x|\gg |y|$ и $|y|<|x|{\epsilon }_{\text{mach}}$, то $x+y$ округлится до $x$.
- Катастрофическое сокращение: $\sqrt{a+1}-\sqrt{a}$ для большого $a$ теряет значимую часть; лучше использовать эквивалентную формулу
$$\sqrt{a+1}-\sqrt{a}=\frac{1}{\sqrt{a+1}+\sqrt{a}},$$ которая стабильнее численно.
- Квадратное уравнение: стандартная формула
$$x=\frac{-b\pm \sqrt{b^2-4ac}}{2a}$$ может давать потерю точности при $b^2\gg 4ac$; используйте альтернативную запись для одного корня:
$$x_1=\frac{-b-\mathrm{sgn}(b)\sqrt{b^2-4ac}}{2a},x_2=\frac{2c}{-b-\mathrm{sgn}(b)\sqrt{b^2-4ac}}.$$
Оценка ошибок и обусловленность
- Разделяйте обусловленность задачи и стабильность алгоритма. Для линейной системы $Ax=b$:
$$\text{forward error}\lesssim \kappa (A)\cdot \text{backward error},$$ где $\kappa (A)=\Vert A\Vert \Vert A^{-1}\Vert$ — число обусловленности. Даже стабильный алгоритм даёт большие ошибки при большом $\kappa$.
Практические стратегии уменьшения накопления ошибок
- Выбирать численно устойчивые алгоритмы: используйте алгоритмы с малым ростом ошибок (например, QR-разложение вместо прямого решения нормальной системы при МНК).
- Перестановка/пивотинг: при LU-разложении — частичный/полный пивотинг уменьшает рост фактора.
- Переформулировка выражений: аналитически убрать вычитания близких чисел (см. примеры выше).
- Суммирование: вместо наивного последовательного суммирования применять
- компенсированное суммирование (Kahan/Neumaier): аккумулируется коррекция $c$;
алгоритм Kahan (мнемонически):
$$\text{sum}=0,c=0;\text{при каждом}x:y=x-c,t=\text{sum}+y,c=(t-\text{sum})-y,\text{sum}=t.$$ - парное (divide‑and‑conquer) суммирование: суммировать попарно (ошибка $O({\epsilon }_{\text{mach}}\log n)$ вместо $O({\epsilon }_{\text{mach}}n)$).
- Точность: использовать большую точность (quadruple, long double) или смешанную точность — критические участки вычислять в более высокой точности.
- Итеративное уточнение (iterative refinement): решить систему в стандартной точности, вычислить остаток в более высокой точности и скорректировать решение.
- Масштабирование и нормализация: уменьшает риск переполнения/унижения и улучшает числовую стабильность.
- Предобусловливание: для итеративных методов уменьшает $\kappa$.
- Компенсация в скалярных произведениях/матрицах: алгоритмы с коррекцией для скалярных произведений (compensated dot product).
- Интервальная арифметика и верификация: если нужна гарантия, используйте интервалы или верифицирующие библиотеки.
- Контроль качества: считаем остатки, оценку погрешности, проверяем чувствительность к возмущениям входных данных.
Практические рекомендации
- Всегда оцените число обусловленности задачи (например, $\kappa (A)$ для линейных систем).
- Отдавайте предпочтение численно устойчивым методам (QR, SVD, итеративные с предобусловливанием).
- Для сумм большого количества чисел используйте Kahan/Neumaier или парное суммирование.
- Используйте более высокую точность там, где важна точность; сочетайте с итеративным уточнением для экономии ресурсов.
- Тестируйте на краевых примерах (близкие по величине слагаемые, большие/малые масштабы) и проверяйте остатки.
Короткая формула — контроль: старайтесь минимизировать сочетание плохой обусловленности и нестабильного алгоритма; итоговая ошибка примерно ограничена произведением числа обусловленности и накопленной машинной ошибки.
Если нужно, могу привести компактные реализации Kahan/Neumaier или пример численной проверки на Python/Julia.