Математическое определение. Для дискретной случайной величины $X$ с алфавитом $\{x_i\}$ и вероятностями $p_i=\mathrm{Pr}(X=x_i)$ энтропия Шеннона определяется как
$$H(X)=-\sum _i{p}_i\log p_i,$$ где логарифм берётся по той базе, в которой измеряют информацию (обычно ${\log }_2$ — бит).
Интуиция. Энтропия — среднее «удивление» или неопределённость исхода: символы с малой вероятностью дают большой вклад $-\log p$ (большое «удивление»), частые — маленький. Эквивалентно, $H(X)$ даёт среднее число бит, необходимых для кодирования результата $X$ при оптимальном кодировании.
Пример расчёта.
- Бинарный источник (смещённая монета) с $\mathrm{Pr}(1)=0.7,\mathrm{Pr}(0)=0.3$:
$$H(X)=-0.7{\log }_{2}0.7-0.3{\log }_{2}0.3\approx 0.8813\text{бит}.$$ - Источник с тремя символами и вероятностями $\{0.5,0.25,0.25\}$:
$$H(X)=-0.5{\log }_{2}0.5-0.25{\log }_{2}0.25-0.25{\log }_{2}0.25=1.5\text{бит}.$$
Связь с кодированием и сжатием.
- Минимальная средняя длина префиксного (безошибочного) кода $\mathbb{E}[\ell (X)]$ ограничена снизу энтропией:
$$\mathbb{E}[\ell (X)]\ge H(X).$$ - Существуют конструктивные оценки: код Шеннона/Крафта даёт $\mathbb{E}[\ell (X)]<H(X)+1$; Хаффман даёт оптимальную целочисленную длину для односимвольных префиксных кодов (в пределах $<H+1$). Арифметическое кодирование и контекстные модели позволяют приближаться к $H(X)$ сколь угодно близко при кодировании больших блоков.
- Для стационарных источников энтропия (энтропия на символ) как предел
$$H=\underset{n\to \infty }{\lim }\frac{1}{n}H(X_1,\dots ,X_n)$$ определяет предельную сжимаемость: можно сжимать последовательности длины $n$ примерно до $nH$ бит (асимптотически без потерь). Это вытекает из асимптотического свойства равномерности (AEP) и понятия типичного множества: большинство длин‑$n$ последовательностей занимают около $2^{nH}$ возможных значений.
Коротко: энтропия численно измеряет среднюю информацию/неопределённость и даёт фундаментальную границу для средних длины кодов и степени безпотерьного сжатия.