1) Энтропия Шеннона $вбитах$:
H = −Σ p$x$ log2 p$x$

Посчитаем по символам:

A: p=0.5 → −0.5·log2$0.5$ = 0.5·1 = 0.5B: p=0.25 → −0.25·log2$0.25$ = 0.25·2 = 0.5C: p=0.125 → −0.125·log2$0.125$ = 0.125·3 = 0.375D: p=0.125 → 0.375

Итого H = 0.5 + 0.5 + 0.375 + 0.375 = 1.75 бита/символ.

2) Смысл значения
Энтропия 1.75 бита/символ — это теоретическая нижняя граница средней длины любого безошибочного $обратимого$ кода для данного источника $потеоремеокодированииШеннона$. Нельзя в среднем сжать сообщения $всмыслесреднегочислабитнасимвол$ ниже 1.75 бита без потерь информации. На практике можно приближаться к этой границе $арифметическоекодирование,блочноекодированиеит.д.$.

3) Оптимальный префиксный код $Хаффман$ Построим Хаффман-код для данных вероятностей. Объединим C и D $по0.125$ → узел 0.25, затем этот узел с B $0.25$ → 0.5, затем с A $0.5$ → корень. Один возможный корректный префиксный код:

A: 0B: 10C: 110D: 111

Длины: l$A$=1, l$B$=2, l$C$=3, l$D$=3.

Средняя длина:
Lavg = Σ p_i l_i = 0.5·1 + 0.25·2 + 0.125·3 + 0.125·3 = 1.75 бита/символ.

4) Оценка близости к энтропии
В данном случае Lavg = H = 1.75, то есть Хаффман-код достигает энтропии точно $нетизбыточности$. Такое возможно потому, что вероятности — степени 1/2 $p_i=2^{-l_i}$, и выполняется равенство Крафта. В общем случае для префиксных кодов H ≤ Lavg < H + 1; арифметическое кодирование может приближать H сколь угодно близко при больших блоках.

Кратко: энтропия 1.75 б/симв — минимально достижимая средняя длина; предложенный Хаффман-код оптимален и имеет среднюю длину 1.75 б/симв $равноэнтропии$.