Измерение информации. 
Компьютерные технологии и сети

Количество информации — это мера уменьшения неопределенности некоторой ситуации. Различные количества информации передаются по каналам связи, и количество проходящей через канал информации не может быть больше его пропускной способности. А ее определяют по тому, какое количество информации проходит здесь за единицу времени.

Одни сведения могут содержать в себе мало информации, а другие — много. Разработаны различные способы оценки количества информации. В технике чаще всего используется способ оценки, предложенный в 1948 году основоположником теории информации Клодом Шенноном. Как было отмечено, информация уничтожает неопределенность. Степень неопределенности принято характеризовать с помощью понятия «вероятность».

Вероятность — величина, которая может принимать значения в диапазоне от 0 до 1. Она может рассматриваться как мера возможности наступления какого-либо события, которое может иметь место в одних случаях и не иметь места в других.

Если событие никогда не может произойти, его вероятность считается равной 0. Так, вероятность события «Завтра будет 5 августа 1819 года» равна нулю в любой день, кроме 4 августа 1819 года. Если событие происходит всегда, его вероятность равна 1.

Чем больше вероятность события, тем выше уверенность в том, что оно произойдет, и тем меньше информации содержит сообщение об этом событии. Когда же вероятность события мала, сообщение о том, что оно случилось, очень информативно.

Количество информации I, характеризующей состояние, в котором пребывает объект, можно определить, используя формулу Шеннона [7,131]:

I = -(p[1]*log (p[1])+p[2]*log (p[2])+…+p[n]*log (p[n])),.

здесь.

n — число возможных состояний;

p[1],…p[n] - вероятности отдельных состояний;

log () — функция логарифма при основании 2.

Знак минус перед суммой позволяет получить положительное значение для I, поскольку значение log (p[i]) всегда не положительно.

Компьютер может обрабатывать только информацию, представленную в числовой форме. Обработка информации в ЭВМ основана на обмене электрическими сигналами между различными устройствами машины. Эти сигналы возникают в определенной последовательности. Признак наличия сигнала можно обозначить цифрой 1, признак отсутствия — цифрой 0. Таким образом, в ЭВМ реализуются два устойчивых состояния. С помощью определенных наборов цифр 0 и 1 можно закодировать любую информацию. Каждый такой набор нулей и единиц называется двоичным кодом. Количество информации, кодируемое двоичной цифрой — 0 или 1 — называется битом. Термин «бит», которое переводится как «двоичная цифра». 1 бит информации — количество информации, посредством которого выделяется одно из двух равновероятных состояний объекта (значение 0 или 1).

Более крупные единицы информации составляют килобайт (Кбат), равный 1024 байта, мегабайт (Мбайт) равен 1024 килобайтам и гигабайт (Гбайт) равен 1024 мегабайтам.