Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Теорема 3.5.3 была получена Макмилланом (1953) и часто называется АЕР-свойством*’ эргодических источников. Макмиллан доказал Lj-сходимость, которая несколько сильнее, чем сходимость, установленная здесь, но его теорема относится только к источникам с конечным алфавитом и его доказательство намного сложнее приведенного здесь. Брейман (1957) позднее доказал сходимость по вероятности для эргодического источника с конечным алфавитом. Отт (1962) разработал процедуру кодирования для марковского источника более общего типа по сравнению с рассмотренным здесь; в его источнике состояние источника не обязательно однозначно определяется предыдущим состоянием и предыдущей буквой источника.
*> АЕР—первые буквы слов «Asymptotic equipartition property». В советской литературе используется термин «информационная устойчивость».
(Прим. ред.)
4
ДИСКРЕТНЫЕ КАНАЛЫ БЕЗ ПАМЯТИ И ПРОПУСКНАЯ СПОСОБНОСТЬ
В предыдущей главе была рассмотрена задача представления выхода источника информации с помощью букв кодового алфавита. На этом пути были найдены несколько наглядных толкований собственной информации и энтропии, а также был получен ряд простых и ясных результатов, касающихся кодирования для источника. Было установлено, что трудности применения теории обусловлены не ее сложностью, а трудностью представления реальных информационных источников разумными вероятностными моделями. В этой и последующих главах будет рассмотрена передача информации по каналам с шумами. В ходе этого рассмотрения будет получено более ясное понимание природы взаимной информации и найдены некоторые глубокие и имеющие большое значение результаты, касающиеся кодирования для канала с шумами. Будет показано, что эти результаты не так просты, как результаты, относящиеся к кодированию для источников, но они имеют очень большое практическое значение. Это значение проистекает из того, что для многих реальных каналов связи могут быть построены достаточно простые и полезные вероятностные модели и что применение теории к этим моделям приводит к нетривиальному проникновению в задачи построения систем связи.
4.1. КЛАССИФИКАЦИЯ КАНАЛОВ
Каналы связи могут быть описаны в терминах множества входных сигналов, которые имеются на входе канала; множества выходных сигналов, имеющихся на выходном конце канала, и (для каждого входного сигнала) вероятностной меры на выходных событиях при условии, что задан этот входной сигнал.
Вначале рассматривается дискретный канал без памяти. Это такой канал, вход и выход которого представляют собой последовательности букв конечных алфавитов и для которого выходная буква в данный момент статистически зависит лишь от соответствующей входной буквы.
В гл. 7 рассматривается канал другого типа, а именно непрерывный по амплитуде, дискретный по времени канал без памяти. Входом и выходом в нем являются последовательности букв из алфавитов, состоящих из множества действительных чисел (или, в более общем случае, из векторов с действительными компонентами) и опять выходная буква в данный момент времени статистически зависит лишь от входа в соответствующий момент. Можно также рассмотреть каналы, в которых вход 88
является дискретным, а выход непрерывным или наоборот, но это оказывается тривиальным видоизменением.
Еще один тип канала, который будет рассмотрен в гл. 8, является непрерывным по времени каналом, в котором входом и выходом являются функции. Какая из описанных выше моделей канала используется для описания заданной линии связи, часто является вопросом выбора. Так, например, канал, изображенный на рис. 4.1.1, можно рассматривать и как дискретный и как непрерывный по времени. Если вначале интересоваться кодером и декодером на рис. 4.1.1, то удобно рассматривать модулятор и демодулятор дискретных данных как часть канала,
Г
Рис. 4.1.1. Выбор модели канала.
и в этом случае канал является дискретным. С другой стороны, если интерес представляет построение как кодера, так и модулятора дискретных данных или если появляется потребность рассмотреть два этих устройства как единое целое, то соответствующий канал рассматривается, как непрерывный.
В последнем параграфе этой главы будут рассмотрены дискретные каналы с памятью; это такие каналы, в которых выход в данный момент статистически зависит как от текущего входа, так и от предыдущих входов и выходов. Память в дискретной модели канала возникает в силу целого ряда причин, действующих в реальных каналах. Одна из очевидных причин состоит в межсимвольной интерференции, происходящей из-за фильтрации в канале. В этом случае выходной символ статистически зависит от нескольких входных символов. Другой причиной являются замирания в канале. Заманчиво представлять себе каналы с замираниями как изменяющиеся со временем каналы без памяти. Однако такое представление в некотором смысле неудачно, так как замирания обычно наилучшим образом моделируются как статистическое явление и должны быть учтены в определении вероятностей выходов при заданных входах. Так, например, при передаче двоичных символов по каналу с замираниями, относительно медленными по сравнению со скоростью передачи в битах, ошибки будут иметь тенденцию
