Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
(4.4.11) исключают случай, когда df/dah = + оо. Заметим теперь, что
^(РА-«А)<МРА-«*). (4.4.16)
да-k
Это следует из (4.4.10), если аь>0. Если аь = 0, то |3Ь —ои^О и
(4.4.16) следует из (4.4.11).
Подставляя (4.4.16) в (4.4.15), получаем
/(Р)-/(а)<Я[рА-2аА]. (4.4.17)
В силу того, чтор и а являются векторами вероятностей, / (Р)—/(а) <0 при каждом р из области.
Необходимость. Пусть а максимизирует / в области и предположим, на некоторое время, что частные производные непрерывны в точке а. Так как а максимизирует /, то для любого вектора вероятностей Р и любого 0, 0<0< 1, имеем
/[0р + (1-0)а]-/(а)<О. (4.4.18)
Разделив это выражение на 0 и переходя к пределу при 0-»-О> будем иметь
d/[ep + (l-9) а]
dd
JQ4
<0, (4.4.19)
0 = 0
По крайней мере одна компонента а является строго положительной, предположим для простоты обозначений, что а1 > 0. Пусть ik является единичным вектором с единицей в качестве fe-й компоненты и остальными нулевыми компонентами; выберем р равным а + eik — -— eij_. Так как ^>0, то р является вектором вероятностей при 0<е<а!. Используя это р в (4.4.20), получаем
вд[<?) _е (4.4.21)
да^ даг
df (и) < д/(«)
dak da-i
(4.4.22)
Если ак >0, то е можно также выбрать отрицательным, и в этом случае неравенство в (4.4.22) изменяется на обратное, что приводит к
д/(°0 д/(а)
да* даг
ak > 0. (4.4.23)
Выбирая, наконец, К равной df (а)/да1, приходим к эквивалентности
(4.4.22) и (4.4.23) условиям (4.4.10) и (4.4.11). Для завершения доказательства теоремы рассмотрим а, для которого df (a)!dah — + оо при некотором k, и покажем, что такое а не может максимизировать f. Предположим для простоты обозначений, что аг > 0. Будем иметь
/ (я + sift — eit) — f (и) = /(a + 8ift —eix)—/(a + eife) ^ e e
I /(* + e»fc)-/(«) (4.4.24)
В пределе при e->0 первое слагаемое в правой части равенства (4.4.24) остается ограниченным в силу непрерывности dfldaВторое слагаемое возрастает так, что левая часть (4.4.24) является положительной для достаточно малого е. Это показывает, что а не максимизирует /, что завершает доказательство теоремы. |
Как можно догадаться, после рассмотрения свойства выпуклости в этом параграфе мы собираемся показать, что взаимная информация является выпуклой /-ч функцией входных вероятностей.
Теорема 4.4.2. Пусть дискретный канал без памяти с К буквами на входе и J буквами на выходе имеет переходные вероятности Р (j\k), 0</</ — 1, 0<й</с — 1. Пусть Q = [Q (0), ..., Q (К — 1)1 — произвольное распределение вероятностей на входе канала. Тогда
/ (X; Y) = 2 Ч № p(i I *) 1°8 (4.4.25)
/', к i
является выпуклой ^ функцией Q.
Доказательство. Пусть Q0 и — произвольные векторы вероятностей на входе канала и пусть /0 и /х — соответствующие им сред-
105
ние взаимные информации. Пусть 0 — Произвольное число 6 < 1; пусть Q = 0QO + (1 — 0) Q2 и пусть / является средней взаимной информацией при распределении вероятностей Q на входе. Нужно показать, что
0/о + (1 — 0) 1г < I. (4.4.26)
При желании можно рассматривать Q0 и Q, как условные вероятности при условии, что задано значение двоичной случайной величины
2 (рис. 4.4.4), т. е.
Qo (k) — Qx | z (k \ 0); Qi(/e) = QX]Z(k\\). (4.4.27)
У
Qt(K-0
-j-1
Рис. 4.4.4.
Выберем Pz (0) = 0, pz (1) = 1 — О и (как показано на рис. 4.4.4)
Р (у \х, г) Р (у \х). В обозначениях этого трехмерного ансамбля
имеем, что левая часть (4.4.26) равна / (X; У \Z), а правая часть равна I(X; У).
Так же как при рассмотрении последовательных каналов в § 2.3, г и у являются независимыми при условии, что задано х. Следовательно, как и в (2.3.15),
/ (У; Z | X) — 0. (4.4.28)
Кроме того, так же как в (2.3.15) и (2.3.17),
/ (У; ZX) = / (У; Z) + / (У; X | Z) = (4.4.29)
= I (У; X) + I (Y; Z \ X). (4.4.30)
Приравнивая правые части (4.4.29) и (4.4.30) и используя (4.4.28) получаем
1 (Г; Z) + I (У; X\Z) - / (У; X), (4.4.31)
I (У; X|Z)</ (У; X), (4.4.32)
