Количество информации - это числовая характеристика сигнала, отражающая ту степень неопределенности (неполноту знаний), которая исче-зает после получения сообщения в виде данного сигнала.
Эту меру неопределённости в теории информации называют энтропией. Если в результате получения сообщения достигается полная ясность в каком-то вопросе, говорят, что была получена полная или исчерпывающая информация и необходимости в получении дополнительной информации нет. И, наоборот, если после получения сообщения неопределённость осталась прежней, значит, информации получено не было (нулевая информация).
Приведённые рассуждения показывают, что между понятиями информация, неопределённость и возможность выбора существует тесная связь. Так, любая неопределённость предполагает возможность выбора, а любая информация, уменьшая неопределённость, уменьшает и возможность выбора. При полной информации выбора нет. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределённость.
Рассмотрим пример. Человек бросает монету и наблюдает, какой стороной она упадёт. Обе стороны монеты равноправны, поэтому одинаково вероятно, что выпадет одна или другая сторона. Такой ситуации приписывается начальная неопределённость, характеризуемая двумя возможностями. После того, как монета упадёт, достигается полная ясность, и неопределённость исчезает (становится равной нулю).
Приведённый пример относится к группе событий, применительно к которым может быть поставлен вопрос типа «да-нет».
Количество информации, которое можно получить при ответе на вопрос типа «да-нет», называемся битом (англ. bit - сокращённое от binary digit - двоичная единица).
Бит - минимальная единица количества информации, ибо получить информацию меньшую, чем 1 бит, невозможно. При получении информации в 1 бит неопределенность уменьшается в 2 раза. Таким образом, каждое бросание монеты дает нам информацию в 1 бит.
Рассмотрим систему из двух электрических лампочек, которые независимо друг от друга могут быть включены или выключены. Для такой системы возможны следующие состояния:
Лампа А: 0 0 1 1 ;
Лампа В: 0 1 0 1 .
Чтобы получить полную информацию о состоянии системы, необходимо задать два вопроса типа «да-нет» по лампочке А и лампочке В, соответственно. В этом случае количество информации, содержащейся в данной системе, определяется уже в 2 бита, a число возможных состояний системы - 4. Если взять три лампочки, то необходимо задать уже три вопроса и получить 3 бита информации. Количество состояний такой системы равно 8 и т. д.
Связь между количеством информации и числом состояний системы устанавливается формулой Хартли.
i= log 2N,
где i - количество информации в битах; N -число возможных состояний. Ту же формулу можно представить иначе:
N=2i.
Группа из 8 битов информации называется байтом.
Если бит - минимальная единица информации, то байт - ее основная единица. Существуют производные единицы информации: килобайт (Кбайт, Кб), мегабайт (Мбайт, Мб) и гигабайт (Гбайт, Гб).
Таким образом, между понятиями «информация», «неопределённость» и «возможность выбора» существует тесная связь. Любая неопределённость предполагает возможность выбора, а любая информация, уменьшая неопределённость, уменьшает и возможность выбора. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределённость.
Количество информации - это числовая характеристика сигнала, отражающая ту степень неопределённости (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала.

Определить понятие «количество информации» довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40-х годов XX века основоположник теории информации, американский математик Клод Шеннон, развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к «объемному» подходу.

Какое количество информации содержится, к примеру, в тексте романа, во фресках Рафаэля или в генетическом коде человека? Ответа на эти вопросы наука не даёт и, по всей вероятности, даст не скоро. А возможно ли объективно измерить количество информации ? Важнейшим результатом теории информации является следующий вывод:

В определенных, весьма широких условиях можно пренебречь качественными особенностями информации, выразить её количество числом, а также сравнить количество информации, содержащейся в различных группах данных.

В настоящее время получили распространение подходы к определению понятия "количество информации", основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле её новизны или, иначе, уменьшения неопределённости наших знаний об объекте . Эти подходы используют математические понятия вероятности и логарифма.

Подходы к определению количества информации. Формулы Хартли и Шеннона.

Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации H, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Формула Хартли:

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: . Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.

Приведем другие примеры равновероятных сообщений:

1. при бросании монеты: "выпала решка" , "выпал орел" ;

2. на странице книги: "количество букв чётное" , "количество букв нечётное" .

Определим теперь, являются ли равновероятными сообщения "первой выйдет из дверей здания женщина" и "первым выйдет из дверей здания мужчина" . Однозначно ответить на этот вопрос нельзя . Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона: H = - (p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN),

где pi - вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p 1 , ..., p N равны, то каждая из них равна 1 / N , и формула Шеннона превращается в формулу Хартли.

Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями.

В качестве единицы информации Клод Шеннон предложил принять один бит (англ . bit - bi nary digit - двоичная цифра).

Бит в теории информации - количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"-"решка", "чет"-"нечет" и т.п.) В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Бит - слишком мелкая единица измерения. На практике чаще применяется более крупная единица - байт , равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2 8).

Широко используются также ещё более крупные производные единицы информации:

· 1 Килобайт (Кбайт) = 1024 байт = 2 10 байт,

· 1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт,

· 1 Гигабайт (Гбайт) = 1024 Мбайт = 2 30 байт.

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

· 1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт,

· 1 Петабайт (Пбайт) = 1024 Тбайт = 2 50 байт.

За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит ) единица информации.

Свойство полноты информации негласно предполагает, что имеется возможность измерять количество информации. Какое количество информации содержится в данной книге, какое количество информации в популярной песенке? Что содержит больше информации: роман «Война и мир» или сообщение, полученное в письме от товарища? Ответы на подобные вопросы не просты и не однозначны, так как во всякой информации присутствует субъективная компонента.
А возможно ли вообще объективно измерить количество информации? Важнейшим результатом теории информации является вывод о том, что в определенных, весьма широких условиях, можно, пренебрегая качественными особенностями информации, выразить ее количество числом, а следовательно, сравнивать количество информации, содержащейся в различных группах данных.

Количеством информации называют числовую характеристику информации, отражающую ту степень неопределенности, которая исчезает после получения информации.

Рассмотрим пример: дома осенним утром, старушка предположила, что могут быть осадки, а могут и не быть, а если будут, то в форме снега или в форме дождя, т.е. «бабушка надвое сказала - то ли будет, то ли нет, то ли дождик, то ли снег». Затем, выглянув в окно, увидела пасмурное небо и с большой вероятностью предположила - осадки будут, т.е., получив информацию, снизила количество вариантов выбора. Далее, взглянув на наружный термометр, она увидела, что температура отрицательная, значит, осадки следует ожидать в виде снега. Таким образом, получив последние данные о температуре, бабушка получила полную информацию о предстоящей погоде
и исключила все, кроме одного, варианты выбора.

Приведенный пример показывает, что понятия «информация», «неопределенность», «возможность выбора» тесно связаны. Получаемая информация уменьшает число возможных вариантов выбора
(т.е. неопределенность), а полная информация не оставляет вариантов вообще.

За единицу информации принимается один бит (англ. bit -binary digit - двоичная цифра). Это количество информации, при котором неопределенность, т.е. количество вариантов выбора, уменьшается вдвое или, другими словами, это ответ на вопрос, требующий односложного разрешения - да или нет.

Бит - слишком мелкая единица измерения информации. На практике чаще применяются более крупные единицы, например, байт, являющийся последовательностью из восьми бит. Именно во-
семь битов, или один байт, используется для того, чтобы закодировать символы алфавита, клавиши клавиатуры компьютера. Один байт также является минимальной единицей адресуемой памяти компьютера, т.е. обратиться в память можно к байту, а не биту.

Широко используются еще более крупные производные единицы информации:

1 Килобайт (Кбайт) = 1024 байт = 2 ю байт,
1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт,
1 Гигабайт (Гбайт) = 1024 Мбайт = 2 30 байт,
1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт.

За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации. Но данная единица используется редко в компьютерной технике, что связано с аппаратными особенностями компьютеров.