Два распространённых способа аппроксимации функции $f(x)$ на отрезке и связанные с ними вопросы (переобучение, колебания) — кратко, с формулами и критериями выбора порядка.
1) Полиномиальная интерполяция
- Интерполяционный многочлен в форме Лагранжа:
$$p_n(x)=\sum _{i=0}^{n}f(x_i){\ell }_i(x),{\ell }_i(x)=\prod _{j\ne i}\frac{x-x_j}{x_i-x_j}.$$ - Оценка погрешности (для гладкой $f$):
$$f(x)-p_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}\prod _{i=0}^n(x-x_i),\xi \in \text{отрезок}.$$ - Проблема Runge: при равномерных узлах и росте $n$ интерполянты могут сильно колебаться на концах (пример: $f(x)=\frac{1}{1+25x^2}$). Причина — большая величина произведения $\prod (x-x_i)$ и плохая обусловленность системы (матрица Вандермонда $V_{ij}=x_i^j$ имеет быстро растущую обусловленность).
- Практические приёмы уменьшения колебаний:
- выбирать узлы Чебышёва (например, Чебышёвские–Лобatto или Гаусса): $x_k=\cos \frac{k\pi }{n}$ или $x_k=\cos \frac{(2k+1)\pi }{2(n+1)}$;
- использовать численно устойчивые формы (Ньютон с делёнными разностями) или ортогональные базисы вместо степеней;
- заменить глобальный многочлен на кусочно-полиномиальную аппроксимацию (сплайны).
- Критерии выбора степени $n$ (интуитивно и практически):
- условие на остаток: если можно оценить $\Vert f^{(n+1)}{\Vert }_{\infty }$, выбрать $n$ так, чтобы максимум правой части удовлетворял требуемой точности;
- следить за обусловленностью: не допускать слишком большого $\kappa (V)$;
- кросс-валидация/контроль остатков на валидационной сетке — выбирать минимальный $n$, при котором остатки не уменьшаются существенно или начинают расти (признак переобучения);
- когда данные шумные — ограничивать $n$ или использовать регуляризацию / сплайны.
2) Разложение по ортонормированному базису (спектральные разложения / аппроксимация по ортогональным многочленам)
- Модель:
$$f_N(x)=\sum _{k=0}^N{c}_k{\varphi }_k(x),⟨{\varphi }_i,{\varphi }_j⟩={\delta }_{ij}.$$ Для непрерывного проекции в $L^2$: $c_k=⟨f,{\varphi }_k⟩$.
- В дискретном случае (данные в узлах $x_j$) — задача МНК:
$$\underset{c}{\min }\Vert Ac-b{\Vert }_2^2,A_{jk}={\varphi }_k(x_j),b_j=f(x_j).$$ При плохой обусловленности используют ортогонализацию или регуляризацию.
- Преимущества: при гладкой функции коэффициенты $c_k$ быстро убывают (спектральная сходимость), численная устойчивость выше при ортонормальном базисе; можно легко отсекать высокочастотные члены (тракция) для борьбы с шумом.
- Ограничения: при разрывных/негладких функциях — явления типа Гиббса; при шумных данных — высокие порядки будут подгонять шум (переобучение).
- Регуляризация (Tikhonov): минимизировать
$$\Vert Ac-b{\Vert }_2^2+\lambda \Vert Lc{\Vert }_2^2$$ (часто $L=I$), решает проблему усиления шума при больших $N$.
- Критерии выбора числа базисных функций $N$:
- анализ убывания коэффициентов: выбрать наименьшее $N$, при котором $|c_k|$ стали малы (например, $|c_k|<\epsilon$);
- "энергетический" критерий: выбрать $N$ такое, что $\frac{{\sum }_{k=0}^N|c_k{|}^2}{{\sum }_{k=0}^{\infty }|c_k{|}^2}\ge 1-\epsilon$ (практически суммируют до численного порога);
- кросс-валидация / L-curve (график $\Vert Ac-b\Vert$ против $\Vert c\Vert$) — выбирать поворот кривой;
- если известен уровень шума $\sigma$, применять принцип несоответствия: выбирать $N$ (или $\lambda$), при котором остаток примерно равен уровню шума;
- информационные критерии (AIC/BIC) при статистической постановке.
Краткая сводка по переобучению и Runge:
- Переобучение: модель (слишком большой $n$ или $N$) повторяет шум данных; проявляется в малых остатках на обучении и больших на валидации. Борьба: кросс-валидация, регуляризация, ограничение числа базисных функций.
- Runge: специфическая проблема глобальной интерполяции на равномерных узлах — колебания из-за структуры полинома и плохой обусловленности; борются выбором узлов (Чебышёв), заменой на сплайны или использованием ортонормированных базисов с отсечением старших членов.
Практическое правило:
- Если функция гладкая и без разрывов — спектральные/ортонормированные разложения с усечением (truncation) дают очень быструю сходимость.
- Если имеются локальные особенности/много данных — предпочтительнее кусочно-полиномиальные подходы (сплайны) или локальные аппроксимации.
- Всегда контролируйте остаток на отложенной выборке и поведение коэффициентов; применяйте регуляризацию при шумных данных.