Кратко — метод, условие второго порядка и два примера (один обычный, один вырожденный).
Метод множителей Лагранжа:
- Для минимума функции $f(x,y)$ при ограничении $g(x,y)=0$ строим лагранжиан $\mathcal{L}(x,y,\lambda )=f(x,y)-\lambda g(x,y)$.
- Необходимые условия стационарности:
$$\frac{\partial \mathcal{L}}{\partial x}=0,\frac{\partial \mathcal{L}}{\partial y}=0,g(x,y)=0,$$ т.е.
$$\nabla f(x,y)=\lambda \nabla g(x,y).$$
Второй порядок (проверка типа экстремума):
- Рассмотрите гессиан лагранжиана по переменным $x,y$: ${\nabla }_{xx}^2\mathcal{L}={\nabla }^{2}f-\lambda {\nabla }^{2}g$ (в точке стационарности).
- Пусть $v$ — вектор тангента к поверхности ограничения в этой точке, т.е. $\nabla g\cdot v=0$. Тогда квадратичная форма
$$Q(v)=v^{\top }\left({\nabla }_{xx}^2\mathcal{L}\right)v$$ определяет тип:
- если $Q(v)>0$ для всех ненулевых таких $v$ — локальный минимум на множестве $g=0$;
- если $Q(v)<0$ для всех ненулевых таких $v$ — локальный максимум;
- если знак меняется (непостоянен) — седловая ситуация (для одного равенства в 2D пространство касательных одномерно, потому обычно получается либо >0, либо <0, либо $Q\equiv 0$ — вырождение).
- Вырожденный случай $Q(v)=0$ требует анализа старших по порядку производных вдоль касательной.
Пример 1 (стандартный — минимум):
- Задача: минимизировать $f(x,y)=x^2+3y^2$ при $g(x,y)=x+y-1=0$.
- Стационарность:
$$(2x,6y)=\lambda (1,1)\Rightarrow 2x=\lambda ,6y=\lambda \Rightarrow x=3y.$$ С учётом $x+y=1$ получаем $4y=1\Rightarrow y=\frac{1}{4},x=\frac{3}{4}$. ($\lambda =2x=\frac{3}{2}$.)
- Второй порядок: ${\nabla }^{2}f=\left(\begin{array}{cc}2& 0\\ 0& 6\end{array}\right)$. Так как $g$ линейна, ${\nabla }_{xx}^2\mathcal{L}={\nabla }^{2}f$.
Касательный вектор $v=(v_1,v_2)$ должен удовлетворять $v_1+v_2=0$, т.е. $v=(t,-t)$. Тогда
$$Q(v)=2t^2+6(-t{)}^2=8t^2>0\text{для}t\ne 0.$$ Значит в точке $(\frac{3}{4},\frac{1}{4})$ функция имеет локальный (и глобальный в данном случае) минимум на множестве $x+y=1$.
Пример 2 (вырожденный — требуется проверка старших производных):
- Задача: минимизировать $f(x,y)=x^3$ при $g(x,y)=y=0$.
- Стационарность:
$$\nabla f=(3x^2,0)=\lambda (0,1)\Rightarrow 3x^2=0\Rightarrow x=0,g=0\Rightarrow y=0.$$ Точка стационарна: $(0,0)$.
- Второй порядок: ${\nabla }^{2}f=\left(\begin{array}{cc}6x& 0\\ 0& 0\end{array}\right)$, в точке $(0,0)$ оно равно нулевой матрице, поэтому для касательного вектора (касательная задана $v_2=0$, т.е. $v=(t,0)$) имеем
$$Q(v)=0\text{для всех}t.$$ Второй порядок не даёт ответа. Надо смотреть старшие степени: вдоль ограничения $y=0$ функция даёт $f(x,0)=x^3$, и в окрестности $0$ это ни минимум, ни максимум (точка перегиба). Это демонстрирует, что при вырожденности второго порядка необходимо анализировать высшие производные или поведение функции вдоль множества ограничений.
Итого: алгоритм — решить уравнения Лагранжа; затем проверить знак квадратичной формы $v^{\top }({\nabla }_{xx}^2\mathcal{L})v$ на векторах $v$ таких, что $\nabla g\cdot v=0$. Если эта форма вырожденна, требуется дальнейший (высших порядков) анализ.