1) Энтропия:
$$H=-\sum _i{p}_i{\log }_2{p}_i=-(0.5{\log }_{2}0.5+0.3{\log }_{2}0.3+0.2{\log }_{2}0.2)$$ $$-0.5{\log }_{2}0.5=0.5,-0.3{\log }_{2}0.3\approx 0.52109,-0.2{\log }_{2}0.2\approx 0.46439$$ $$H\approx 0.5+0.52109+0.46439\approx 1.4855\text{бит/символ}$$
2) Смысл результата: $H$ — среднее количество информации (бит) в одном символе источника и нижняя граница для средней длины безусловно восстанавливаемого кода (в среднем нельзя кодировать меньше чем $H$ бит/символ).
3) Предложение кодирования (приближённое к оптимальному): однобайтовый префиксный Huffman-код
A = 0, B = 10, C = 11. Тогда средняя длина
$$L=0.5\cdot 1+0.3\cdot 2+0.2\cdot 2=1.5\text{бит/символ},$$ избыточность $L-H\approx 1.5-1.4855\approx 0.0145$ бит/символ (очень близко к оптимуму).
4) Компромиссы между длиной кодовых слов и задержкой декодирования:
- Префиксные переменной длины (Huffman): минимальная средняя длина среди префиксных кодов, мгновенное декодирование по входному потоку (низкая задержка), но разная длина кодов — возможен большой максимум длины для редких символов.
- Фиксированная длина: простота и константная задержка, но обычно большая средняя длина (неэффективна при неравных вероятностях).
- Блочное кодирование (группировка символов в блоки): приближает среднюю длину ещё ближе к $H$ (за счёт дробных бит/символ), но увеличивает задержку и память (надо накопить блок).
- Арифметическое/энтропийное кодирование: достигает сходимости к $H$ с очень малой избыточностью, но требует буферизации, арифметики с высокой точностью и более чувствительно к ошибкам/синхронизации (больша задержка и сложность).
Выбор зависит от требований: минимальная задержка → префиксный Huffman или фиксированная длина; минимальная средняя длина при допустимой задержке → блоковое/арифметическое кодирование.