Научная литература
booksshare.net -> Добавить материал -> Физика -> Николис Дж. -> "Динамика иерархических систем: эволюционное представление" -> 56

Динамика иерархических систем: эволюционное представление - Николис Дж.

Николис Дж. Динамика иерархических систем: эволюционное представление — М.: Мир, 1989. — 490 c.
Скачать (прямая ссылка): dinamikaiearhicheskihsistem1989.pdf
Предыдущая << 1 .. 50 51 52 53 54 55 < 56 > 57 58 59 60 61 62 .. 187 >> Следующая

комплексов может быть реализовано при заданном числе повторений.
4
Элементы теории информации и кодирования с приложениями
4.1. Передача информации и понятие пропускной способности канала для
дискретных и непрерывных сигналов без памяти
Мы уже несколько знакомы с основным понятием информации (как для
дискретных, так и для непрерывных распределений) из разд. 2.3, где было
введено понятие энтропии. Продолжим теперь изучение этого понятия на
примере вычисления передачи информации от источника X к приемнику У при
наличии возмущений в канале, т. е. в среде между X и У (рис. 4.1)..
N
Рис. 4.1. Схема одностороннего канала связи с аддитивным шумом.
Предположим, что X имеет Л дискретных состояний, т. е. в каждый момент
времени может посылать сообщение/последовательность символов Xi с
априорной (относительно приемника) вероятностью P(xi), ie( 1, ..., Л). В
этом случае априорная энтропия источника равна
Л
S (X) = - ? Р (Xi) log2 Р (xt) бит (4.1.1)
с=1
и, как мы уже знаем, максимальна, когда все Р{х{) равны 1/Л, т. с.
^макс (X) = log2 Л бит. (4.1.2)
Из формулы (4.1.1) непосредственно видно, что 5(Л) = 0, когда все
вероятности Р(х{), кроме одной, равны нулю. Требуется доказать, что lim
(? In ?) = 0. Для этого мы запишем левую часть ?->0
последнего соотношения в виде lim (in и воспользуемся
1->0
150
Глава 4
правилом Лопиталя:
lim - Q
I(tm) -w и-
Таким образом, все члены в S(X), в которых Р(х{) = 0, равны нулю, а тот
единственный член, в котором Р(х,) = 1, также равен нулю, поскольку log2
1 =0. Мы видим, таким образом, что информация, носителем которой является
источник, передающий один сигнал/символ, стереотипно равна нулю.
1 ассмотрим теперь, как происходит передача информации от X к У. Система
У также обладает некоторым числом состояний (которое, например, может
быть равно и Л). При каждом отдельном сообщении/символе x-t, переданном
источником X и поступившем на вход приемника У, принимающая система
переходит в некоторое состояние у,-. Это соответствие xi -*¦ у, мы
называем "взаимно однозначным отображением".
Предположим, что систему У наблюдатель видит в состоянии у,, и пусть Р
(xi/y,-) - вероятность того, что приемник X при этом находится в
состоянии Xi. В отсутствие шума в канале P(Xi/y,)= 1 при i = 7 и P(xi/yj)
= 0 при i=?j. Следовательно, матрица АХ А элементов Р(х,/у,) в отсутствие
шума в канале была бы диагональна.
Но при наличии шума матрица канала, как мы условимся ее называть, в
принципе содержит A X А ненулевых элементов Р (xi/У)). Следовательно,
информация, получаемая системой У после того, как она перейдет в
состояние г/,-, равна
I (Xi/yt) = - log2 Р (х,/у,) бит. (4.1.3)
Чтобы вычислить условную энтропию S(X/Y), т. е. остаточную
неопределенность, испытываемую системой У после проведения всех возможных
наблюдений над полным репертуаром состояний приемника X, мы усредняем
величину (4.1.3) по всем возможным состояниям систем X и У. Сначала мы
усредняем по всем возможным (и неизвестным) состояниям источника X и
получаем условную энтропию источника X при некотором заданном состоянии
у,- приемника У:
S (Х/у,) = (/ (Х/у,)) = - (x,/yt) log2 Р (х,/у,). (4,1.4)
t = 1
Затем мы усредняем по всем состояниям приемника У:
S (X/Y) = (/ (X/Y)) = t Р (У,) S (Х/у,) =
= - Z Z Р (У}) Р (xjy,) log2 Р (х,/у,). (4.1.5)
1 = 1 / = 1
Элементы теории информации и кодирования 151
По теореме Байеса
P(yi)P(Xi/ijj) = P(Xi, yj),
поэтому
S (X/Y) = - Z 1Р(хг, 0,) Iog2Р (xt/y,), (4.1,6а)
1 = 1 / = 1
где P(xi,y/) - совместная вероятность состояний х,- (источника X) и у,
(приемника У). Таким образом, условная энтропия S(X/Y) есть мера
неопределенности в состоянии источника X, когда приемник У доступен
непосредственному наблюдателю - при наличии помех.
Информация (переданная от X к У) равна просто разности между начальной
неопределенностью S(X) и конечной неопределенностью 5(ЛУУ). Таким
образом,
I(X-^Y) = S(X)~S(X/Y) =
Л Л Л
= - ? р (хд log2 Р (Xf) + Yj Е Р (xi> Уд 1°ё2 Р (Xily,) =
(=1 1=1 /=I
Л Г Л -1 Л Л
= - X I Р (х1, у,) log2 Р (Xi) + Е ЕР (Xi> уд 1оё2 Р (х,1у/) =
(=i L/=1 J i=i f=i
= Е ?P(je<' уд1о^{т^у)бит- (4л-7а)
Нетрудно видеть, что I (XY) ^ 0.
В тех случаях, когда в канале нет шума, P(xi/y,)= 1 при i - j и P(xi/y,)
= 0 при 1фу Величина S(X/Y), задаваемая соотношением (4.1.6а), обращается
в нуль (члены с i = j обращаются в нуль, так как log2 1 = 0, члены i Ф j
обращаются в нуль, так как по доказанному выше lim (? In %) = 0; в нашем
1-"о
случае ? = Р(хг/у;)). Таким образом,
/(*-y) = S(*) = /MaKC. (4.1.8)
В противоположном случае, когда шум вносит такие возмущения, что Xi и г//
становятся полностью некоррелированными,
P(Xi, yd = P(xi)P(y/), (4.1.9)
поэтому в (4.1.6а)
P(xi) = P(xJy!) (4.1.10)
[так как по теореме Байеса при всех i и j в общем случае P(xi>
Уд=Р(УдР(х'/уд]- Правая часть соотношения (4.1.7а)
152
Глава 4
обращается в нуль (log2 1 =0), а это означает, что 5(Х/У) = = S (X) и 1(Х
->¦ Y) = 0, как и следовало ожидать.
Предыдущая << 1 .. 50 51 52 53 54 55 < 56 > 57 58 59 60 61 62 .. 187 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed