Количество информации, содержащейся в сообщении, можно вычислить в случае, если имеется информация о вероятности появления каждого символа или события.

Формула для вычисления количества информации (I) в битах для события с вероятностью (P) его возникновения:

I = -log2(P)

Данная формула показывает, сколько бит информации несет в себе каждое событие или символ, исходя из его вероятности появления. Чем меньше вероятность, тем больше информации содержится в событии.