Динамика иерархических систем: эволюционное представление - Николис Дж.
Скачать (прямая ссылка):
импульсы мы считаем равными, полная вероятность приема ошибочного
импульса равна
- 1 оо - 1
Р = JL J P(n)dn + ± \p{n)dn= J Р (п) dn =
- оо +1 -оо
-1 - lVoJ
= -.-I ^ ехрГ--S]dn = -7= ( е~у'12 dy ~ 0,0340.
+2я • 0,3 J \ 2 • 0,3 / +2я J
- оо - оо
(4.1.52)
Это означает, что 3,4 % принятых импульсов в последовательности ошибочны.
Количество информации I(X-^Y), переданной от источника к приемнику за
один импульс, может быть вычислено по формуле
/ (X -> Y) = S (X) - S (X/Y) = - [i- log2-I +1 log2 +] + +(0,034 log2
0,034 + 0,966 log2 0,966) = 0,786 бит/импульс. (4.1.53)
Скорость передачи импульсов составляет, разумеется, 2000 импульсов в
секунду, поэтому скорость передачи информации для рассматриваемой системы
составляет всего лишь
= 2000 • 0,786 = 1572 бит/с. (4.1.54)
Сравним теперь эту скорость с "теоретическим максимумом", задаваемым
формулой Шеннона. Отношение сигнал/шум равно
и
C = W logs (1 + Г) = 1000 logs (1 + 3,333) = 2115,5 бит/с. (4.1.55)
Таким образом, рассматриваемая система передает информацию со скоростью
ниже оптимальной и составляющей 74,5 % от теоретического максимума, кроме
того, принимаемый сигнал
164
Глава 4
на 3,4 % ошибочен. (Как мы увидим в дальнейшем, при надлежащем
кодировании реальная скорость передачи информации может асимптотически
стремиться к шенноновскому пределу.)
4.2. Некоторые идеи теории кодирования, могущие быть полезными при
минимизации ошибок приема
Большинство традиционных односторонних линий связи устроено так, как
показано на блок-схеме, изображенной на рис. 4.5. Объясним кратко
функциональное назначение каждого "ящика" слева направо.
Канал
Рис. 4.5. Блок-схема линии связи.
Источник генерирует информацию (динамику этого процесса мы рассмотрим в
гл. 6), которую передатчик должен довести до пользователя. Передатчик
обладает непрерывным или дискретным набором "сигналов", общее число и
априорное распределение вероятностей которых известны пользователю
заранее. Канал связи представляет собой физическую среду, которая
заполняет пространство между двумя партнерами/системами, между которыми
установлена связь. Шум в канале связи может быть аддитивным или
мультипликативным, без памяти или марковским. (Последнее свойство
означает, что искажения, вносимые шумом в передаваемый сигнал, могут быть
либо независимыми, либо встречаться "группами", или "всплесками", что
свидетельствует о наличии между ними определенной стохастической
взаимозависимости.) И в том, и в другом случае единственным параметром
канала связи, имеющим строго операционное значение, является его
пропускная способность.
Кодирующее устройство (кодер) источника преобразует сигнал на выходе
источника в форму, пригодную для реально осуществимой передачи по каналу
связи. Точно так же декодирующее устройство (декодер) источника
преобразует сигнал на выходе источника в форму, пригодную для
интерпретации
Элементы теории информации и кодирования
165
сигнала пользователем. Если говорить более точно, то функция декодера
источника состоит в том, чтобы отображать выходной сигнал x(t),
порождаемый источником за некоторый временной интервал, в одно из
(конечных) множеств отобраннных заранее сообщений (строк импульсов, или
"символов"). Таким образом, пространство возможных выходных сигналов
источника разбивается на множество классов эквивалентности. Кодер
источника указывает кодеру канала связи, какой из этих классов содержит
наблюденный выходной сигнал источника. Эта операция повторяется в
последовательные интервалы времени. Кодер канала, получив информацию о
том, что выходной сигнал источника принадлежит m-му классу
эквивалентности, передает волновой сигнал xm(t) по каналу. Декодер канала
связи изучает полученный волновой сигнал y(t), искаженный шумом, на
подходящем временном интервале и принимает решение относительно того,
какое сообщение было передано по каналу.
Декодер канала связи передает свою оценку пг' числа сигналов декодеру
источника, который в свою очередь выдает пользователю сигнал y(t) как
оценку, данную системой сигналу x(t) за пг' рассматриваемых временных
интервалов. (Подробный пример процесса передачи информации см. в разд.
4.7, а также в приложении А.)
Наконец, операция МОД означает модуляцию одного из четырех возможных
параметров высокочастотного электромагнитного носителя (амплитуда,
частота, фаза, поляризация) мгновенным значением амплитуды волны (в
аналоговой или цифровой форме), испускаемой на выходе кодера канала.
ДЕМОД означает обратную операцию - отделение электромагнитного носителя и
передачи демодулированного сигнала на вход декодера канала.
Возможно, читатель уже понял, что наиболее сложная операция происходит в
декодере канала. В декодере канала по существу имеется "ящик памяти",
содержащий запасные копии всего, что входит в репертуар кодера канала.
Получив волновой сигнал, искаженный шумом, декодер канала кросс-коррели-
рует его со всеми элементами, содержащимися в ящике памяти, и выбирает в
