Энтропия в теории информации — мера среднего количества неопределённости (или среднего «удивления») при наблюдении исхода случайного источника. Для дискретной случайной величины $X$ с распределением $p(x)$ энтропия определяется как
$$H(X)=-\sum _{x}p(x){\log }_{2}p(x),$$ где вклад конкретного исхода $x$ равен его «информации» $I(x)=-{\log }_{2}p(x)$. Единица измерения при логарифме по основанию 2 — биты.
Для источника с символами A и B, $p(A)=0.9,p(B)=0.1$:
$$H=-0.9{\log }_{2}0.9-0.1{\log }_2\mathrm{0.1.}$$ Численно
$${\log }_{2}0.9\approx -0.1520,{\log }_{2}0.1\approx -3.3219,$$ отсюда
$$H\approx -0.9(-0.1520)-0.1(-3.3219)\approx 0.1368+0.3322\approx 0.469\text{бит/символ}.$$
Практическое значение для сжатия данных:
- $H$ — теоретический нижний предел средней длины кодового слова (в битах на символ) для безубыточного (lossless) кодирования по теореме Шеннона; нельзя в среднем сжать ниже $H$.
- Здесь $H\approx 0.469$ бита/символ значительно меньше простого фиксированного кода в $1$ бит/символ, т.е. потенциальное сокращение среднего объёма до примерно $\frac{0.469}{1}\approx 0.469$ или экономия $\approx (1-0.469)\times 100\%\approx 53.1\%$.
- На практике кодирование отдельного символа (например, простым Хаффманом по одиночным символам) даёт в этом случае $1$ бит/символ; чтобы приблизиться к $H$ используют блочное кодирование или арифметическое кодирование, которые позволяют среднюю длину кода сколь угодно близко приблизить к энтропии при достаточной длине блоков.
- Дополнительно: при $p=0.5$ бинарного источника $H$ максимальна ($1$ бит), а при детерминированном источнике ($p=1$ для одного символа) $H=0$.