Энтропия — это количество неопределенности или информации, связанной с случайной величиной. В теории информации энтропия является меры среднеарифметической неопределенности распределения вероятностей. Чем выше энтропия, тем больше неопределенности, связанной с выбором исхода. Наибольшая энтропия достигается, когда все исходы равновероятны.

Энтропия ( H(X) ) для дискретной случайной величины ( X ) с вероятностями ( p_1, p_2, \ldots, p_n ) определяется по формуле:

[
H(X) = -\sum_{i=1}^{n} p_i \log(p_i)
]

где ( \log ) — это логарифм по основанию 2 (в терминах бит).

Предположим, у вас есть 4 разных типа конфет, и вы хотите выбрать такое распределение вероятностей для этих конфет, чтобы максимизировать энтропию. Пусть ( p_1, p_2, p_3, p_4 ) — вероятности того, что вы выберете каждую из конфет.

Задача:

Определите вероятности ( p_1, p_2, p_3, p_4 ) так, чтобы сумма вероятностей была равна 1:

[
p_1 + p_2 + p_3 + p_4 = 1
]

Максимизируйте энтропию ( H(X) = -\sum_{i=1}^{4} p_i \log(p_i) ).

Для максимизации энтропии мы видим, что равномерное распределение вероятностей (т.е. когда ( p_1 = p_2 = p_3 = p_4 = \frac{1}{4} )) дает наибольшую энтропию.

Подставляя это в формулу энтропии:

[
H(X) = -\left( \frac{1}{4} \log\left(\frac{1}{4}\right) + \frac{1}{4} \log\left(\frac{1}{4}\right) + \frac{1}{4} \log\left(\frac{1}{4}\right) + \frac{1}{4} \log\left(\frac{1}{4}\right) \right)
]

[
= -4 \cdot \frac{1}{4} \log\left(\frac{1}{4}\right) = -\log\left(\frac{1}{4}\right) = 2 \text{ бита}
]

Таким образом, максимальная энтропия в данном случае составляет 2 бита, что отражает наибольшую неопределенность при выборе конфеты из 4 возможных.