Энтропия:
$H(X)=-{\sum }_i{p}_i{\log }_2{p}_i=-0.6{\log }_{2}0.6-0.3{\log }_{2}0.3-0.1{\log }_{2}0.1\approx 1.29546$ бит/символ.
Оптимальный код по Шеннону (Shannon code):
Длины $l_i=\lceil -{\log }_2{p}_i\rceil$: для $A(0.6)$ — $l_A=1$, для $B(0.3)$ — $l_B=2$, для $C(0.1)$ — $l_C=4$.
Возможный код (через дробные кумулятивные суммы): $A:0,B:10,C:1110$.
Средняя длина:
$L_{\text{Shannon}}=0.6\cdot 1+0.3\cdot 2+0.1\cdot 4=1.6$ бит/символ.
Оптимальный код по Хаффману (Huffman):
Склеиваем $0.1$ и $0.3$ → $0.4$, затем с $0.6$. Длины: $l_A=1,l_B=2,l_C=2$.
Один из кодов: $A:0,B:10,C:11$.
Средняя длина:
$L_{\text{Huffman}}=0.6\cdot 1+0.3\cdot 2+0.1\cdot 2=1.4$ бит/символ.
Сравнение с теоретическим минимумом:
$H\approx 1.29546$.
Избыточность (редунданс): для Хаффмана $R_{\text{H}}=L_{\text{Huffman}}-H\approx 0.10454$ бита, для Шеннона $R_{\text{S}}=L_{\text{Shannon}}-H\approx 0.30454$ бита.
Эффективности: ${\eta }_{\text{H}}=H/L_{\text{Huffman}}\approx 0.9253$ (≈92.5%), ${\eta }_{\text{S}}=H/L_{\text{Shannon}}\approx 0.8097$ (≈81.0%).
Универсальная оценка: для префиксных кодов всегда выполняется $H\le L<H+1$; здесь Хаффман даёт ближе к минимальному $H$ и является оптимальным среди префиксных кодов.