Кратко и по делу.
1) Энтропия источника (общий вид)
- Энтропия дискретного источника $X$ с законами вероятностей $p(x)$ — среднее количество информации на символ:
$$H(X)=-\sum _{x}p(x){\log }_{2}p(x).$$ - Для бинарного источника с $P(1)=q,P(0)=1-q$ это бинарная энтропия
$$H_b(q)=-q{\log }_{2}q-(1-q){\log }_2(1-q).$$
2) Простой канал — бинарный симметричный канал (BSC) с вероятностью ошибки $p$ - Условная энтропия выхода при заданном входе (шум) равна
$$H(Y|X)=H_b(p).$$ - Если входы равновероятны, выходная энтропия $H(Y)=1$ бит, и взаимная информация на символ
$$I(X;Y)=H(Y)-H(Y|X)=1-H_b(p).$$ - Это и есть пропускная способность (верхняя граница скорости) BSC:
$$C=1-H_b(p)\text{(бит/символ)}.$$ - По теореме Шеннона: при больших блоках и подходящем кодировании можно надежно передавать информацию при скорости $R<C$; при $R>C$ ошибка не может быть стремлена к нулю.
Примеры численно:
- $p=0.01:H_b(0.01)\approx 0.0808,C\approx 0.9192$.
- $p=0.1:H_b(0.1)\approx 0.4690,C\approx 0.5310$.
Связь с сжатием: минимальная средняя длина без потерь не может быть меньше $H(X)$. Для успешной передачи без потерь после сжатия требуется скорость канала $C\ge H(X)$ (теорема о раздельном кодировании и канале).
3) Практические соображения при выборе кодов коррекции ошибок и компромиссы
- Кодовая скорость (rate) $R=k/n$: чем ближе $R$ к $C$, тем меньше избыточность, но тем сложнее и длиннее код требуется.
- Длина блока: длинные блочные коды (или большие интерлитеры) позволяют ближе подходить к пределу Шеннона, но увеличивают задержку и буферные требования.
- Задержка: для низкой задержки (URLLC, управление) предпочитают короткие коды/конволюционные или специально оптимизированные короткие полярные/турбо-коды, жертвуя частью эффективности.
- Сложность и энергопотребление: итеративные декодеры (LDPC, турбо) дают близкую к пределу производительность, но требуют вычислений и энергии; для простых устройств выбирают менее интенсивные по вычислениям решения (BCH, Reed–Solomon, простые сверточные).
- Тип декодирования: soft‑decision даёт значительный выигрыш в SNR по сравнению с hard‑decision, но требует передачи и обработки апостериорных значений.
- Надёжность и целевая вероятность ошибки: требуемый уровень FER/BER определяет, сколько избыточности и какие коды нужны.
- Канальная динамика и обратная связь: при наличии обратной связи выгодны гибрид‑ARQ (меньше постоянной избыточности, но переменная задержка); в каналах без обратной связи предпочтительны сильные FEC.
- Практические ограничения реализации: параллелизация декодера (для скорости), память, стандарты (совместимость).
Ключевой компромисс: чтобы повысить надёжность, добавляют избыточность (понижают $R$), либо увеличивают длину блока/сложность декодирования; это улучшает успешную передачу при данном SNR, но увеличивает задержку, вычислительные затраты и энергопотребление. Выбор оптимального кода зависит от требования к пропускной способности $R\lesssim C$, допустимой задержки, мощности и аппаратных возможностей.