Формулировки (несколько эквивалентных вариантов).
1) (одномерный случай). Пусть $g$ дифференцируема в точке $a$ и $f$ дифференцируема в точке $g(a)$. Тогда композиция $f\circ g$ дифференцируема в $a$ и
$$(f\circ g{)}^{\prime }(a)=f^{\prime }(g(a))\cdot g^{\prime }(a).$$
2) (вектор-значный внешний). Пусть $g:\mathbb{R}\to {\mathbb{R}}^m$ дифференцируема в $a$ (векторная производная — якобиан-строка) и $f:{\mathbb{R}}^m\to \mathbb{R}$ дифференцируема в $g(a)$. Тогда $f\circ g$ дифференцируема в $a$ и
$$(f\circ g{)}^{\prime }(a)=\nabla f(g(a))\cdot g^{\prime }(a),$$ где $\nabla f(g(a))$ — градиент в точке $g(a)$.
3) (многомерный случай, классический). Пусть $g:{\mathbb{R}}^n\to {\mathbb{R}}^m$ и $f:{\mathbb{R}}^m\to {\mathbb{R}}^k$ фреще-дифференцируемы в точках $a$ и $g(a)$ соответственно. Тогда $f\circ g$ фреше-дифференцируема в $a$ и
$$D(f\circ g)(a)=Df(g(a))Dg(a),$$ где произведение — композиция линейных отображений (или умножение якобианов).
4) (в банаховых пространствах). Те же утверждения верны, если считать $g:X\to Y$ и $f:Y\to Z$ фреше-дифференцируемыми в точках $a$ и $g(a)$ (где $X,Y,Z$ — банаховы пространства): $D(f\circ g)(a)=Df(g(a))\circ Dg(a)$.
Ключевые условия: требуется фреше- (или в одномерном случае обычная) дифференцируемость внешней и внутренней функций в соответствующих точках. Гейтовская дифференцируемость внешней функции по направлению обычно недостаточна для общего результата.
Доказательства (кратко).
A) Одномерный (через определения). Так как $g$ дифференцируема в $a$, то
$$g(a+h)=g(a)+g^{\prime }(a)h+o(h)(h\to 0).$$ Поскольку $f$ дифференцируема в $g(a)$,
$$f(y)=f(g(a))+f^{\prime }(g(a))(y-g(a))+o(|y-g(a)|)(y\to g(a)).$$ Подставим $y=g(a+h)$:
$$f(g(a+h))=f(g(a))+f^{\prime }(g(a))(g^{\prime }(a)h+o(h))+o(|g^{\prime }(a)h+o(h)|).$$ Поскольку $o(|g^{\prime }(a)h+o(h)|)=o(h)$ и $f^{\prime }(g(a))\cdot o(h)=o(h)$, получаем
$$f(g(a+h))=f(g(a))+f^{\prime }(g(a))g^{\prime }(a)h+o(h),$$ откуда по определению производной
$$(f\circ g{)}^{\prime }(a)=f^{\prime }(g(a))g^{\prime }(a).$$
B) Многомерный (фреше). Пусть
$$g(a+h)=g(a)+Dg(a)h+r_1(h),r_1(h)=o(\Vert h\Vert ),$$ $$f(y+k)=f(y)+Df(y)k+r_2(k),r_2(k)=o(\Vert k\Vert ),$$ где $y=g(a)$. Возьмём $k=g(a+h)-g(a)=Dg(a)h+r_1(h)$. Тогда
$$f(g(a+h))=f(g(a))+Df(g(a))(Dg(a)h+r_1(h))+r_2(Dg(a)h+r_1(h)).$$ Разложим остатки: линейность даёт
$$Df(g(a))Dg(a)h+Df(g(a))r_1(h)+r_2(\cdot ).$$ Поскольку $r_1(h)=o(\Vert h\Vert )$ и линейный оператор $Df(g(a))$ ограничен, имеем $Df(g(a))r_1(h)=o(\Vert h\Vert )$. Для последнего члена
$$r_2(Dg(a)h+r_1(h))=o(\Vert Dg(a)h+r_1(h)\Vert )=o(\Vert h\Vert ).$$ Итак,
$$f(g(a+h))=f(g(a))+Df(g(a))Dg(a)h+o(\Vert h\Vert ),$$ что равнозначно фреше-дифференцируемости композиции и формуле
$$D(f\circ g)(a)=Df(g(a))\circ Dg(a).$$
Замечания и уточнения.
- Для корректности формулы достаточно требований фреше-дифференцируемости; непрерывность производных не требуется.
- В чисто предельных/направленных смыслах (Гейтовский) требуются дополнительные условия, иначе композиция может не быть фреше-дифференцируемой.
- В координатной форме это даёт умножение якобианов (матриц): если $J_f$ — якобиан $f$ в $g(a)$ и $J_g$ — якобиан $g$ в $a$, то $J_{f\circ g}=J_f{J}_g$.