1) Энтропия источника.
Формула: $$H=-\sum _i{p}_i{\log }_2{p}_i.$$
Подставляем $p_A=0.5,p_B=0.3,p_C=0.2$:
$$H=-(0.5{\log }_{2}0.5+0.3{\log }_{2}0.3+0.2{\log }_{2}0.2)=1.485475\text{бит}(\approx 1.485\text{бит}).$$
Смысл в битах: это среднее количество информации (неопределённости) на один символ источника и минимальное среднее число двоичных бит, необходимое для кодирования символа при оптимальном (без потерь) кодировании.
2) Двоичный симметричный канал (BSC) с вероятностью ошибки $p$.
Определения: вход $X\in \{0,1\}$, выход $Y$, ошибка (побитовый флип) с вероятностью $p$. Энтропия шума (условная энтропия выхода при известном входе): $$H(Y|X)=H_2(p)=-p{\log }_{2}p-(1-p){\log }_2(1-p).$$
Взаимная информация: $$I(X;Y)=H(Y)-H(Y|X).$$ Для симметричного канала максимум $H(Y)$ достигается при равновероятном входе $P(X=0)=P(X=1)=1/2$, тогда $H(Y)=1$. Следовательно ёмкость (максимум взаимной информации) равна
$$C=\underset{P_X}{\max }I(X;Y)=1-H_2(p).$$ Единицы: биты на один каналный такт (бит на использование канала). Заметьте: для $p\in [0,0.5]$ $C$ уменьшается от $1$ до $0$.
3) Влияние кодов коррекции ошибок и практические ограничения.
- Теория (теорема Шеннона): для любого битового темпа меньше $C$ существуют кодеры/декодеры, обеспечивающие произвольно малую вероятность ошибки при неограниченно больших длинах блоков (асимптотически достижимо).
- На практике ограничения:
- Конечная длина блоков: при конечных блоках существует ненулевой «gap» к $C$; существуют явные оценки (finite-blocklength bounds).
- Сложность кодирования/декодирования: код, близкий к $C$ (LDPC, турбо, полярные коды), требует высокой вычислительной мощности и/или задержки.
- Задержка и буферизация: большие блоки → большая латентность.
- Неполная/нестабильная информация о канале (оценка $p$), канал меняется во времени.
- Практические ограничения физического уровня (синхронизация, помехи, ограничения мощности и спектра).
- Итог: коды позволяют приближаться к $C=1-H_2(p)$, но на практике достигают его с некоторым отставанием из‑за конечной длины, сложности, задержки и неточностей в модели канала.