Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Р (У\ У 2 У 3 1*1 *2 Х3) =
= р (Их \ *i) Р (Уг | Хг) Р (Уз | Хз). (2.2.31)
Исследуем взаимную информацию, когда посылается последовательность ахахаъ а принимается последовательность b2bxbx. Покажем, что первый выходной символ содержит отрицательную информацию
о входе, однако последующие два выходных символа содержат достаточное количество положительной информации, чтобы перекрыть первоначальное заблуждение. Так же как в равенстве (2.2.6), имеем
6a) = log(2e), (2.2.32)
PXt | У, Ys (а1 ' bl) __
/ X,; V, 1 V, (Oti; | &2) =---log
рхг | v, (ai!
= log — = —log (2e). (2.2.33)
8
Отсюда видно, что условная информация, содержащаяся во втором выходном символе в точности балансирует отрицательную информацию от первого выходного символа. Наглядное объяснение этого состоит в том, что после приема Ьфх приемник имеет в точности такую же
неопределенность относительно символов на входе, какую он имел вначале. Условная информация, содержащаяся в третьем принятом символе, равна
1 у, v2 (fliJ Ьх | Ьг &!)=Iog [2 (1—е)Ь (2.2.34)
*> Все равенства и теоремы, помеченные звездочкой в этом и последующем параграфах, остаются справедливыми для недискретных ансамблей (см. §§ 2.4 и 2.5).
38
Общая информация о входе, содержащаяся в трех принятых символах, является теперь положительной в соответствии с тем, что апостериорная вероятность входа больше, чем априорная вероятность
С1\С1\С1^.
2.3. СРЕДНЯЯ ВЗАИМНАЯ ИНФОРМАЦИЯ И ЭНТРОПИЯ
В этом параграфе будет получен ряд неравенств, для энтропии и средней взаимной информации.
Теорема 2.3.1. Пусть X — ансамбль с выборочным пространством, состоящим из К элементов. Тогда
Н (X) < log К (2.3.1)
с равенством тогда и только тогда, когда все элементы равновероятны.
Доказательство. Эта теорема и ряд последующих неравенств могут быть доказаны с помощью соотношений
In z <z—l; z> 0, гф\,
lnz = z—1; z = 1. (2.3.2)
Они проиллюстрированы на рис. 2.3.1 и могут быть проверены аналитически, если заметить, что разность In г — (г — 1) имеет отрицательную вторую производную и стационарную точку при 2=1.
Покажем теперь, что Н (X) — log К <! 0.
Н (Л)- log К = 2 Р W l°gР (*) 1о§ К =
= (loge)2PWta^. (2.3.3)
Рассматривая сумму только по тем х, для которых Р (х)> 0, можно применить (2.3.2) и каждому слагаемому; в результате получим
Н (X) - log К « (log е) 2 р м [-^ - 1
log е
_1____
к jU-
Ур(х) 1<0. (2.3.4)
^1.
Последнее неравенство следует из того, что сумма по х имеет не бо-_ 'лее /С слагаемых? Оба неравенства обращаются в равенства тогда —тггблько тогда, когда М[КР {х)] = 1 при всех л:; это эквивалентно тому, что элементы равновероятны. |
Так как энтропия ансамбля максимальна, когда элементы равно-вероятны, можно предположить, что энтропия ансамбля увеличится, -«слн-серияТТ!ость некоторого элемента увеличится за счет другого. 00-jfee Вероятного элемента, этот результат составляет содержание зада-
Следующая теорема показывает, что несмотря на то, что взаимная информация как случайная величина может принимать отрицательные значения, средняя взаимная информация всегда неотрицательна.
Теорема 2.3.2*. Пусть XY дискретный совместный ансамбль. Для средней взаимной информации между X и Y справедливо
/ (X; Y) > 0. (2.3.5)
Знак равенства имеет место тогда и только тогда, когда X и Y статистически независимы.
Доказательство. Покажем, что —/ (X; Y) 0.
Р{х)
-/(X; Y) = (log е)'%Р(х,у)\п
Р(х\у)
(2.3.6)
Сумма в (2.3.6) берется только по тем ху, для которых Р (х, у) > 0. Для этих слагаемых Р (х) > 0, Р (х \ г/) > 0 и (2.3.2) можно применить для каждого слагаемого
1
= (log е) [2 Р (х) Р{у)~^Р (х, у)] <0.
(2.3.7)
(2.3.8)
у
X, у
Z-1
Неравенство (2.3.7) переходит в равенство тогда и только тогда, когда Р (х) = Р [х\ у), при Р (х, у) > 0. Так как суммирование в (2.3.8) происходит только по тем парам ху, для которых Р(хг У)>0, то (2.3.8) переходит в равенство только тогда, когда Р (х) Р (у) —
= 0, при Р (х, у) = 0. Таким обра-
зом, оба неравенства удовлетворяются вместе с равенством и, следовательно, / (X; Y) — 0 тогда и только тогда, когда X и Y статистически независимы. |
Непосредственным следствием этой теоремы и равенства I (X; Y) = Н (X) —
