Информационный вес символа можно вычислить с помощью теории информации, разработанной Клодом Шенноном. Формула для вычисления информационного веса символа выглядит следующим образом:

I = -log2(P)

где I - информационный вес символа, P - вероятность появления данного символа.

Чем меньше вероятность появления символа, тем больший информационный вес он имеет. Например, если символ встречается очень редко, его информационный вес будет высоким, так как он сообщает нам более ценную информацию.