Энтропия источника:
$$H=-\sum _i{p}_i{\log }_2{p}_i=-(0.5{\log }_{2}0.5+0.25{\log }_{2}0.25+0.125{\log }_{2}0.125+0.125{\log }_{2}0.125)=1.75$$ (в битах).
Минимальная средняя длина кодового слова при оптимальном префиксном коде:
для данных вероятностей (двоичные степени) оптимальный Хаффман-код даёт длины $\{1,2,3,3\}$, и средняя длина
$$L_{\min }=0.5\cdot 1+0.25\cdot 2+0.125\cdot 3+0.125\cdot 3=1.75$$ то есть $L_{\min }=H$ (точно).
Ёмкость бинарного симметричного канала (BSC) с $\epsilon =0.1$:
$$C=1-H_2(\epsilon ),H_2(\epsilon )=-\epsilon {\log }_2\epsilon -(1-\epsilon ){\log }_2(1-\epsilon ).$$ Численно
$$H_2(0.1)\approx 0.4690,C\approx 1-0.4690=0.5310\text{бит/канал.исп.}$$
Последствия для проектирования кодов исправления ошибок:
- Чтобы передавать информацию без ошибок при больших длинах блоков, кодовая скорость $R$ должна быть меньше или равна $C$. То есть после сжатия источника до ~$1.75$ бит/символ нужно обеспечивать каналовую скорость $R\le 0.531$ бит/канал.исп.
- Это означает минимальное число канал.исп. на символ источника примерно
$$\frac{H}{C}\approx \frac{1.75}{0.531}\approx 3.295,$$ т.е. в среднем нужны ≈3.3 канал.исп. на символ (на практике — целое число или большие блоки).
- Практически: сначала сжать источник (эффективно до $1.75$ бит/симв), затем применить код канал.с коррекцией ошибок с $R\lesssim 0.53$ (например LDPC, polar, turbo) и достаточной длиной блока — чтобы приблизиться к пропускной способности; нужно учитывать требуемую остаточную вероятность ошибки, задержку и сложность декодирования.