Кратко — что такое и как работает
- Differentiable programming — стиль разработки, где программа состоит из дифференцируемых примитивов (операции, контроль потока, параметры) и собирается в вычислительный граф; это позволяет автоматически получать градиенты выхода по входам/параметрам и использовать их в численной оптимизации или встраивать в дифференцируемые пайплайны.
- Ключевой принцип — правило цепочки: если $y=f(g(x))$, то $\frac{dy}{dx}=f^{\prime }(g(x))g^{\prime }(x)$. Автоматическое дифференцирование (AD) применяет это локально к узлам графа и композирует локальные производные, получая точный градиент (в пределах машинной арифметики).
- Два основных режима AD:
- forward-mode: вычисляет производную как якобиан-умножение на вектор (Jacobian-vector product), эффективно при небольшом числе входов;
- reverse-mode (backpropagation): вычисляет градиент скалярной функции по многим входам (vector-Jacobian product), эффективно при одном-небольшом числе выходов и большом числе параметров.
- Преимущества AD: точность (нет аппроксимации по шагу, только машинные ошибки), скорость (обратный проход обычно стоит порядка константы раза дороже прямого прохода), возможность дифференцировать сложные программные конструкции.
Пример, где аналитический (авто-)градиент предпочтительнее численного
- Сценарий: глубокая нейросеть с $n$ параметрами (например $n$ в миллионах) и скалярной функцией потерь $L(\theta )$.
- Численный градиент (центральная разность) для компоненты $i$:
$$\frac{\partial L}{\partial {\theta }_i}\approx \frac{L(\theta +\epsilon e_i)-L(\theta -\epsilon e_i)}{2\epsilon },$$ где $e_i$ — базисный вектор. Чтобы получить полный градиент по всем $n$ компонентам, нужно примерно $2n$ оценок функции $L$ (каждая — полный прямой проход сети) — вычислительная сложность $O(n)$ прямых проходов.
- Reverse-mode AD (backprop) даёт весь вектор градиента за время, сравнимое с одним–несколькими прямыми проходами, т.е. примерно $O(1)$ по отношению к $n$ (константный множитель): стоимость обратного прохода ~ $c$ раз больше прямого (обычно $c$ порядка $2$–$5$).
- Точность: численная разность подвержена выбору шага $\epsilon$ (трейкационная ошибка $O({\epsilon }^2)$ и погрешности округления $O(1/\epsilon )$); в больших сетях балансировать невозможно и ошибки заметны. AD даёт значения с точностью машинного представления без выборов шага.
Короткий иллюстративный пример функции
- Пусть $f(x)=\sin (x_1{x}_2)+x_3^2$. Аналитический градиент:
$$\frac{\partial f}{\partial x_1}=x_2\cos (x_1{x}_2),\frac{\partial f}{\partial x_2}=x_1\cos (x_1{x}_2),\frac{\partial f}{\partial x_3}=2x_3.$$ Численные разности потребуют трёх (или шести для центральной схемы) оценок функции и будут чувствительны к выбору $\epsilon$.
Вывод: для задач с большим числом параметров и/или где требуется высокая точность градиентов (тренировка нейросетей, оптимизация модели), аналитический градиент через AD (reverse-mode) предпочтительнее численного приближения по эффективности и надежности.