Информационная ёмкость канала — максимальная скорость передачи информации (в бит/с или бит/исп.), при которой можно сделать вероятность ошибки сколь угодно малой при подходящем кодировании. Классическое определение (для дискретного безпамятного канала): C=maxp(x)I(X;Y),
C=\max_{p(x)} I(X;Y), C=p(x)maxI(X;Y),
где I(X;Y)=H(Y)−H(Y∣X)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)−H(Y∣X) — взаимная информация, максимум берётся по распределениям входного сигнала p(x)p(x)p(x). Основные частные случаи: - Бинарный симметричный канал с вероятностью ошибки ppp (BSC): C=1−H2(p),H2(p)=−plog2p−(1−p)log2(1−p).
C=1-H_2(p),\qquad H_2(p)=-p\log_2 p-(1-p)\log_2(1-p). C=1−H2(p),H2(p)=−plog2p−(1−p)log2(1−p).
- Канал с белым гауссовским шумом (AWGN) и полосой WWW при отнош. сигнал/шум SNR\mathrm{SNR}SNR: C=Wlog2(1+SNR)бит/с.
C=W\log_2(1+\mathrm{SNR})\quad\text{бит/с}. C=Wlog2(1+SNR)бит/с. Ключевые свойства: - Зависит от ограничений (мощность, ширина полосы, распределение входа). - Теорема Шеннона: любые скорости R<CR<CR<C достижимы с произвольно малой ошибкой, при R>CR>CR>C ошибка не может быть сделана малой.
Классическое определение (для дискретного безпамятного канала):
C=maxp(x)I(X;Y), C=\max_{p(x)} I(X;Y),
C=p(x)max I(X;Y), где I(X;Y)=H(Y)−H(Y∣X)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)−H(Y∣X) — взаимная информация, максимум берётся по распределениям входного сигнала p(x)p(x)p(x).
Основные частные случаи:
- Бинарный симметричный канал с вероятностью ошибки ppp (BSC):
C=1−H2(p),H2(p)=−plog2p−(1−p)log2(1−p). C=1-H_2(p),\qquad H_2(p)=-p\log_2 p-(1-p)\log_2(1-p).
C=1−H2 (p),H2 (p)=−plog2 p−(1−p)log2 (1−p). - Канал с белым гауссовским шумом (AWGN) и полосой WWW при отнош. сигнал/шум SNR\mathrm{SNR}SNR:
C=Wlog2(1+SNR)бит/с. C=W\log_2(1+\mathrm{SNR})\quad\text{бит/с}.
C=Wlog2 (1+SNR)бит/с.
Ключевые свойства:
- Зависит от ограничений (мощность, ширина полосы, распределение входа).
- Теорема Шеннона: любые скорости R<CR<CR<C достижимы с произвольно малой ошибкой, при R>CR>CR>C ошибка не может быть сделана малой.