Идея бита

Существуют различные единицы измерения информации. Начнем с самой маленькой единицы измерения – бит.

Бит можно представить, как некоторую ячейку памяти, в которой может находиться одно из двух значений (правда, либо ложь; 0, либо 1).

Можно сказать, что с помощью бит мы кодируем определенные характеристики объектов или событий. Допустим мы точно знаем, что некоторый объект является черным, либо белым, и тогда мы можем  закодировать информацию о цвете объекта. Т.е., если бит, отвечающий за цвет объекта, равен 0, то объект белый, а если 1, то черный.

Сложнее ситуация, если характеристик объектов (или событий) больше двух. Допустим мы выбираем подарок. У нас есть варианты купить игровую приставку, велосипед, телефон или подарить деньгами. Тогда  одного бита нам недостаточно чтобы закодировать все 4 варианта. Тогда мы добавляем второй бит, и кодировка выглядит как:

Т.о. если мы узнаем, какой из 4 подарков был выбран, то получим 2 бита информации.

Если есть некоторый тумблер, который может находиться в 1 из 8 положений. Самое нижнее положение обозначим за 1, самое верхнее за 8. Тогда опять попадаем в ситуацию, что ни одного, ни двух бит будет  недостаточно чтобы закодировать все 8 положений. А 3х бит уже будет достаточно.

Уже видим, что количество сигналов, которые можно закодировать, соответствует двойке в степени количество бит: 2^x=y, где y – кол-во  сигналов, где x – кол-во бит, которым кодируются сигналы. 

Но здесь встает вопрос, что делать, если это уравнение не удается решить в целых числах? Возьмем предыдущий пример с тумблером и скажем, что положений было всего 5. Тогда получается, что 2^х бит будет  недостаточно для того, чтобы закодировать все 5 положений, и все равно необходимо как минимум 3 бита.

Получается, что отношение должно записываться не в виде равенства, а в виде неравенства. 2 в степени количество бит должно быть больше или  равно количеству сигналов, которые мы хотим закодировать, 2^x≥y.