Кратко: энтропия измеряет среднюю неопределённость источника, условная энтропия — какую неопределённость остаётся после наблюдения выхода канала, а взаимная информация — сколько информации об исходном сообщении даёт приёмник. Шеннонов предел (ёмкость канала) — максимальный средний битовый поток, который можно передавать с произвольно малой вероятностью ошибки. Ниже — пояснение на вашем примере (текст → шумный канал).

1) Обозначения и интуиция

Пусть X — случайная величина, задающая символы источника (например буквенный алфавит или бит), Y — символы на выходе канала (то, что принимает приёмник). Канал задаётся условными вероятностями p(y|x) (шум, искажения, удаления и т. п.).Энтропия источника H(X) = −Σ_x p(x) log2 p(x). Это среднее число бит неопределённости на один символ исходного текста. Для английского текста после моделирования контекста оценка H ≈ 1–1.5 бит/буква (в то время как ASCII = 8 бит/буква).Условная энтропия H(X|Y) = −Σ_{x,y} p(x,y) log2 p(x|y). Это средняя неопределённость о том, какой был исходный символ X, если мы уже увидели Y. В терминах канала — «остаточная неопределённость» (эквивокация).Взаимная информация I(X;Y) = H(X) − H(X|Y) = Σ_{x,y} p(x,y) log2 [ p(x,y) / (p(x)p(y)) ]. Это среднее количество бит об исходном символе, которое даёт наблюдение Y. Можно считать, что каждый проход символа через канал «передаёт» I(X;Y) бит полезной информации.

2) Шеннонов предел (ёмкость) канала

Шенноновая ёмкость (capacity) C = max_{p(x)} I(X;Y). Максимум берётся по распределению входных символов p(x). Интерпретация: максимально возможная средняя скорость передачи информации (бит/символ канала) при которой можно сделать вероятность ошибки сколь угодно малой (при бесконечной длине кода).Для конкретных часто встречающихся каналов:
Binary Symmetric Channel (BSC) с вероятностью ошибки p: C = 1 − H_b(p), где H_b(p) = −p log2 p − (1−p) log2(1−p) — бинарная энтропия. Пример: p=0.1 → H_b(0.1)≈0.469 → C≈0.531 бит/канал. использования.Binary Erasure Channel (BEC) с вероятностью стирания ε: C = 1 − ε (бит/использование), потому что стирают не более ε доли битов.AWGN-канал (непрерывный, с белым гауссовским шумом): при ограниченной мощности сигнал/шум SNR и единичной полосе C = 0.5 log2(1+SNR) бит/реальное измерение (или log2(1+SNR) бит/с/Гц в комплексной форме).Общая процедура для произвольного дискретного канала: измерьте/знайте матрицу p(y|x), затем численно найдите p(x), максимизирующее I(X;Y). Для этого используют алгоритм Блахута—Арифы (Blahut–Arimoto).

3) Сколько каналов/каких нужно для передачи текста

Если источник имеет H_s бит/символ, а ёмкость канала C бит/использование, то минимально необходимо не менее H_s/C канал. использований на один символ исходного текста. Пример: текст 1.5 бита/буква, канал BSC с p=0.1 (C≈0.531): нужно ≈1.5/0.531≈2.83 канал.использований на одну букву (в реальности — добавляются служебные биты, кодирования блоками и т. п.).

4) Связь с вероятностью ошибок

H(X|Y) связан с вероятностью восстановления X по Y: если H(X|Y) мала, то можно с малой ошибкой восстановить X. Формально это связано с неравенством Фано — оно связывает минимальную среднюю вероятность ошибки P_e и H(X|Y).Шеннон показывает: если вы кодируете со скоростью R < C, то существуют кодировщики/декодировщики с вероятностью ошибки → 0 при росте длины блока. Если R > C — ошибка остаётся отличной от нуля.

5) Как практически приблизиться к пределу (практические техники)
Общая идея: отделить сжатие источника (source coding) и защиту от ошибок (channel coding) — теорема о разделении: при бесконечной длине это оптимально.

A) Сжатие текста (приближение к H(X))

Стандартные методы: Huffman (близко к энтропии для независимых символов), арифметическое кодирование, статистические модели (PPM), современные контекстно-адаптивные и статистические компрессоры (bzip2, LZ77/78, LZMA, PPM/CM, современные нейросетевые модели).Для текстов с контекстом и предсказанием можно достичь ≈H_s (1–1.5 бит/буква для английского).

B) Канальное кодирование (приближение к C)

Классы кодов, близкие к пределу:
Turbo-коды — первые практические коды, приближающиеся к предельной производительности для AWGN.LDPC (Low-Density Parity-Check) — широко используемые, ближе к пределу при больших длинах, применяются в Wi‑Fi, DVB‑S2.Полярные коды — имеют доказанную схему достижения ёмкости для некот. каналов, применяются в 5G (control channels).Reed–Solomon — хорошие для коррекции всплесковых ошибок (обычно в комбинации с другими кодами).Конкатенированные коды (в прошлом) — сочетание внешнего RS и внутреннего сверточного/блочного кода.Практические приёмы:
Soft-decision decoding (использование апостериорных вероятностей вместо жёстких 0/1) даёт существенный выигрыш.Интерливинг для борьбы с коррелированными (всплесковыми) ошибками.ARQ и hybrid-ARQ (HARQ) — при наличии канала обратной связи: повторная отправка ошибочных пакетов + кодирование с накоплением (incremental redundancy).Кодирование с учётом ограничений канала (например, ограничение по мощности в AWGN).Блоковая длина и задержка: близость к пределу обычно требует очень больших блоков и вычислительно интенсивной декодировки. Для реального применения выбирают компромисс длины/сложности/задержки.

C) Практическая архитектура для передачи текста

1) Сжать текст (арифметическое/контекстное кодирование) до битовой последовательности близкой к H_s.2) Разбить биты на блоки и применить код канала с нужным кодовым коэффициентом R = k/n, где R < C. Выбрать код исходя из требуемой задержки и вычислительных ресурсов (LDPC/Polar/Convolutional+Viterbi/HARQ).3) Приёмник: декодер канала → декомпрессор → текст. При наличии обратной связи можно использовать HARQ.

6) Вычисление предела на практике (пошагово)

Оценить статистику источника: получить H(X) (в бит/символ).Оценить/измерить модель канала p(y|x) (эксперименты) или взять модель (BSC, AWGN, BEC).Если канал дискретный: использовать Blahut–Arimoto для численного вычисления C = max_{p(x)} I(X;Y).Если канал — BSC/BEC/AWGN — воспользоваться аналитической формулой (см. выше).Сравнить: если H(X) (бит/символ) < n·C (где n — число использований канала на символ после схемы мэппинга), то теоретически можно достичь надёжной передачи; иначе нужно либо снизить скорость (сжать сильнее), либо улучшить канал (уменьшить p, повысить SNR) или использовать больше символов канала на исходный символ.

7) Ограничения и практические замечания

Теорема Шеннона асимптотическая: «произвольно малая вероятность ошибки» достигается при очень больших длинах блока. В реальных системах длины конечны — нужны практические оценки (конечная длина, пределы Полянского—Пуров—Верду и др.).Аппаратные/сложностные ограничения диктуют выбор кода (LDPC/Polar дают хороший компромисс).Если канал меняется со временем, нужны адаптивные схемы (адаптивная модуляция и кодирование, комбинация ARQ и FEC).

Короткий пример численно

Допустим: английский текст H_s ≈ 1.5 бита/буква. Канал — BSC с p=0.1 → C≈0.531 бит/использование. Значит минимум ≈2.83 использования канала на букву. Практически: сжать текст (арифметическое кодирование) до ~1.5 бита/букву, затем применить LDPC-код с кодовой скоростью R чуть меньше C (например R=0.48) и длиной блока, достаточной для требуемой вероятности ошибки; приёмник декодирует и распаковывает текст.

Итого: понятия H(X), H(X|Y), I(X;Y) дают количественные меры неопределённости, остаточной неопределённости и переданной информации; ёмкость C = max_{p(x)} I(X;Y) — верхняя граница надёжной скорости. На практике добиваются приближения к этому пределу сочетанием хорошего сжатия источника и сильных канальных кодов (LDPC, Turbo, Polar и т. п.), с учётом ограничений по задержке и вычислениям. Если нужно, могу:

показать конкретный числовой расчёт для вашего канала (при условии p(y|x) или параметров SNR), илипосоветовать конкретную кодовую схему (параметры LDPC/Polar/HARQ) для заданных требований по задержке и вероятности ошибки.