Информации теория, математическая дисциплина, исследующая процессы хранения, преобразования и передачи информации. И. т. — существенная часть кибернетики. В основе И. т. лежит определённый способ измерения количества информации, содержащейся в каких-либо данных («сообщениях»). И. т. исходит из представления о том, что сообщения, предназначенные для сохранения в запоминающем устройстве или для передачи по каналу связи, не известны заранее с полной определённостью. Заранее известно лишь множество, из которого могут быть выбраны эти сообщения, и в лучшем случае — то, как часто выбирается то или иное из этих сообщений (т. е. вероятность сообщений). В И. т. показывается, что «неопределённость», с которой сталкиваются в подобной обстановке, допускает количественное выражение и что именно это выражение (а не конкретная природа самих сообщений) определяет возможность их хранения и передачи. В качестве такой «меры неопределённости» в И. т. принимается число двоичных знаков, необходимое для фиксирования (записи) произвольного сообщения данного источника. Более точно — рассматриваются все возможные способы обозначения сообщений цепочками символов 0 и 1 (двоичные коды), удовлетворяющие условиям: а) различным сообщениям соответствуют различные цепочки и б) по записи некоторой последовательности сообщений в кодированной форме эта последовательность должна однозначно восстанавливаться. Тогда в качестве меры неопределённости принимают среднее значение длины кодовой цепочки, соответствующее самому экономному способу кодирования; один двоичный знак служит единицей измерения (см. Двоичные единицы).
Пример. Пусть некоторые сообщения x1, x2, x3 появляются с вероятностями, равными соответственно 1/2, 3/8, 1/8. Какой-либо слишком короткий код, скажем
x1 = 0, x2 = 1, x3 = 01,
непригоден, так как нарушается вышеупомянутое условие б). Так, цепочка 01 может означать x1, x2 или x3. Код
x1 = 0, x2 = 10, x3 = 11,
удовлетворяет условиям а) и б). Ему соответствует среднее значение длины кодовой цепочки, равное
Нетрудно понять, что никакой другой код не может дать меньшего значения, т. е. указанный код — самый экономный. В соответствии с выбором меры неопределенности, неопределенность данного источника сообщении следует принять равной 1,5 двоичной единицы.
Здесь уместно подчеркнуть, что термины «сообщение», «канал связи» и т. п. понимают в И. т. очень широко. Так, с точки зрения И. т., источник сообщений описывается перечислением множества x1, x2,... возможных сообщений (которые могут быть словами какого-либо языка, результатами измерений, телевизионными изображениями и т. п.) и соответствующих им вероятностей p1, p2,...
Нет никакой простой формулы, выражающей точный минимум H’ среднего числа двоичных знаков, необходимого для кодирования сообщении x1, x2,..., xn через вероятности p1, p2,..., pn этих сообщений. Однако указанный минимум не меньше величины
(где log2a обозначает логарифм числа a при основании 2) и может превосходить её не более чем на единицу. Величина Н (энтропия множества сообщений) обладает простыми формальными свойствами, а для всех выходов И. т., которые носят асимптотический характер, соответствуя случаю H’ ® ¥, разница между H и H’ абсолютно несущественна. Поэтому именно энтропия принимается в качестве меры неопределённости сообщений данного источника. В приведённом выше примере энтропия равна
С изложенной точки зрения, энтропия бесконечной совокупности оказывается, как правило, бесконечной. Поэтому в применении к бесконечным совокупностям поступают иначе. Именно, задаются определённым уровнем точности и вводят понятие e — энтропии, как энтропии сообщения, записываемого с точностью до e, если сообщение представляет собой непрерывную величину или функцию (например, времени); подробнее см. в ст. Энтропия.
Так же как и понятие энтропии, понятие количества информации, содержащейся в одном случайном объекте (случайной величине, случайном векторе, случайной функции и т. д.) относительно другого, вводится сначала для объектов с конечным числом возможных значений. Затем общий случай изучается при помощи предельного перехода. В отличие от энтропии, количество информации, например, в одной непрерывно распределённой случайной величине относительно другой непрерывно распределённой величины очень часто оказывается конечным.
Понятие канала связи (см. Канал) в И. т. носит весьма общий характер. По сути дела, канал связи задаётся указанием множества «допустимых сообщений» на «входе канала», множеством «сообщений на выходе» и набором условных вероятностей получения того или иного сообщения на выходе при данном входном сообщении. Эти условные вероятности описывают влияние «помех», искажающих передаваемые сообщения, «Присоединяя» к каналу какой-либо источник сообщений, можно рассчитать количество информации относительно сообщения на входе, содержащееся в сообщении на выходе. Верхняя грань таких количеств информации, взятая по всем допустимым источникам, называется пропускной способностью (ёмкостью) канала. Ёмкость канала — его основная информационная характеристика несмотря на влияние (возможно сильное) помех в канале, при определённом соотношении между энтропией поступающих сообщений и пропускной способностью канала возможна почти безошибочная передача (при надлежащем кодировании, см. Шеннона теорема).
И. т. отыскивает оптимальные, в смысле скорости и надежности, способы передачи информации, устанавливая теоретические пределы достижимого качества. Как видно из предыдущего, И. т. носит существенно статистический характер, и поэтому значительная часть ее математических методов заимствуется из теории вероятностей.
Основы И. т. были заложены в 1948—49 американским ученым К. Шенноном. В ее теоретические разделы внесен вклад советским учеными А. Н. Колмогоровым и А. Я. Хинчиным, а в разделы, соприкасающиеся с применениями, — В. А. Котельниковым, А. А. Харкевичем и др.
Лит.: Яглом А. М., Яглом И. М., Вероятность и информация, 2 изд., М., 1960; Шэннон К., Статистическая теория передачи электрических сигналов, в кн.: Теория передачи электрических сигналов при наличии помех. Сб. переводов, М., 1953; Голдман С., Теория информации, пер. с англ., М., 1957; Теория информации и её приложения. Сб. переводов, М., 1959; Хинчин А. Я., Понятие энтропии в теории вероятностей, «Успехи математических наук», 1953, т. 8, в. 3; Колмогоров А. Н., Теория передачи информации, М., 1956, (АН СССР. Сессия по научным проблемам автоматизации производства. Пленарное заседание); Питерсон У. У., Коды, исправляющие ошибки, пер. с англ., М., 1964.
Ю. В. Прохоров.