Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
К равновеликих интервалов, можно убедиться, что 7 (Хр; Yp) =
= log К¦ Так как К можно сделать произвольно большим, получаем, что 7 (X; F) = оо.
Обратимся теперь к задаче определения взаимной информации как случайной величины для произвольных ансамблей. Это определение можно дать только -в терминах теории множеств, но, к счастью, у нас не возникнет необходимости в его использовании и мы приводим его здесь только как интересный дополнительный материал. При заданном ансамбле XY с совместной вероятностной мерой Рху и отдельными мерами Рх и Ру определим произведение вероятностных мер Рх х у как вероятностную меру, заданную на совместном пространстве, если бых и у были статистически независимы и имели меры Рх и Ру. Взаимная информация / (%; у) между точкой х ансамбля X и точкой у ансамбля Y определяется как логарифм производной Радона—Никодима в точке х, у совместной вероятностной меры PXy по произведению вероятностных мер PXxy• Гельфанд и Яглом (1957) показали, что, если существует событие Е, для которого Рху (Е) > 0 и Рх хгЙ = = 0, то / (X; Y) = оо; в других случаях / (X; Y) равна математическому ожиданию I (х\ у).
В приведенном выше примере совместная вероятностная мера сконцентрирована на прямой х = у и произведение вероятностных мер равномерно распределено на единичном квадрате. Следовательно, если Е является событием х = у, то PXY (Е) — 1 и Рх х г (Щ = 0, устанавливая, таким образом, справедливость результата Гельфанда—Яг-лома по крайней мере в этом частном примере.
ИТОГИ и выводы
В этой главе были определены взаимная и собственная информации и установлены некоторые свойства информации, которые будут использованы в последующих главах. Эти свойства в своем большинстве оказались такими, которые следовало бы ожидать при разумном математическом определении информации, но действительное оправдание этих определений появится лишь в последующих главах. Привлекательное слово «информация» позволяет легко построить интуитивное понимание приведенных здесь понятий, но следует быть осторожным и не смешивать эту интуицию с математикой. В идеале наша интуиция должна предлагать новые математические результаты, а условия, требуемые для доказательства этих математических результатов, должны, в свою очередь, обострять нашу интуицию.
ИСТОРИЧЕСКИЕ ЗАМЕЧАНИЯ И ССЫЛКИ
Для дополнительного чтения книга Феллера (1950) является замечательным учебником по теории вероятностей. Материал, содержащийся в этой главе, в основном имеется также у Фано (1961), Эбрамсона (1963) и Эша (1965). Большинство результатов и понятий, приведенных здесь (как и в других главах), развиты Шенноном (1948), оригинальные работы которого остаются до сих пор в высшей степени полезными для чтения. Пинскер (1960) рассмотрел вопросы, изложенные в § 2.5, более полно и строго.
3
КОДИРОВАНИЕ ДЛЯ ДИСКРЕТНЫХ ИСТОЧНИКОВ
В этой главе будет рассмотрено кодирование выхода дискретного источника информации в последовательность букв заданного кодового алфавита. Мы хотим выбрать правила кодирования таким образом, чтобы, по крайней мере с высокой вероятностью, последовательность на выходе источника могла быть восстановлена по закодированной последовательности, а также таким образом, чтобы число букв кода, требуемых на одну букву источника, было по возможности меньшим. Будет показано, что минимальное число двоичных букв кода на одну букву источника, требуемых для представления выхода источника, задается энтропией источника.
Как было указано в § 1.2, выходом дискретной модели источника является случайная последовательность букв дискретного алфавита. Дискретная модель источника является подходящей для реальных источников, которые производят дискретные данные, а также для непрерывных источников, выход которых превращается в дискретные данные с помощью таких операций, как выборка и квантование. В гл. 9 будет проведено фундаментальнее рассмотрение проблемы кодирования непрерывного источника в дискретные данные при ограничении средних искажений. Настоящая глава посвящена задаче кодирования (и декодирования) для математических моделей дискретных источников, определяемых как случайные последовательности. Построение математической модели реального источника является задачей более трудной и ее решение связано с детальным изучением внутренних закономерностей источника и их использованием; такое построение модели не может быть грамотно выполнено абстрактным образом.
Предположим, что в каждую единицу времени источник вырабатывает одну букву из конечного множества букв источника а1г ..., ак. Вначале будем считать также, что эти буквы источника производятся с некоторыми фиксированными вероятностями Р (я*), ..., Р (ак) и что последовательные буквы статистически независимы. Такие источники называются дискретными источниками без памяти*'). Это предположение
о статистической независимости, или отсутствии памяти, является в некотором смысле нереальным для большинства дискретных источников. Однако это предположение дает возможность развить важные понятия,
