Определить количество информации и энтропию сообщения из 5 букв, если число букв в алфавите 32 и все сообщения равно вероятные. Привести формулу и решение*

16 Дек 2019 в 19:45
405 +1
0
Ответы
1

Формула для вычисления энтропии при равномерном распределении вероятностей выглядит следующим образом:

H = -Σ(p_i * log2(p_i))

Где p_i - вероятность появления i-го символа.

В данном случае у нас 32 символа в алфавите и все они равновероятны, что означает, что вероятность появления каждого символа 1/32.

Таким образом, энтропия сообщения из 5 букв будет:

H = -5 (1/32 log2(1/32)) = -5 (1/32 -5) = 5

Таким образом, количество информации в сообщении из 5 букв равно 5 бит, а энтропия сообщения равна 5.

18 Апр 2024 в 23:26
Не можешь разобраться в этой теме?
Обратись за помощью к экспертам
Гарантированные бесплатные доработки в течение 1 года
Быстрое выполнение от 2 часов
Проверка работы на плагиат
Поможем написать учебную работу
Прямой эфир