15. ТЕОРИЯ ПЕРЕДАЧИ ИНФОРМАЦИИ

Количество информации I(xi) в отдельно взятом единичном сообщении xi определяется величиной, обратной вероятности появления сообщения p(xi) и вычисляется в логарифмических единицах:

.

При p(xi)=1, I(xi)=0, что соответствует принятому определению информации.

Если источник выдает зависимые сообщения xi=х1,…,xm, то они характеризуются условными вероятностями p(xi / х1,…,xm). И в этом случае количество информации вычисляется по формуле (15.1) с подстановкой в нее условных вероятностей сообщений.

В системах, работающих с двоичными кодами, используется основание логарифма b = 2 и информация измеряется в двоичных единицах, обычно вместо двоичных единиц используется эквивалентное название – бит, возникшее как сокращенная запись английских слов binary digit (двоичная цифра).

1 бит это количество информации, которое передается единичным символом сообщения, вероятность передачи которого p(xi)= 0,5:

.