Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Р (х | г) =Р (х | у) для всех х^ X. (III)
Предположим теперь, что PY ^ z(bj | сг) > 0 и PY | z(bj | ci) > 0. Так как условные вероятности определены только тогда, когда события, входящие в условия, имеют ненулевые вероятности, то yz-пары biCi и bjCi имеют ненулевые вероятности, и, если I (X; Y) = I (X; Z), то из (III) следует, что
РХ | Z (“ft I СР ~РХ | У (°ft I bj) =Рх | Z (°ft | ci) при всех k, и ct и ci эквивалентны. Обратно, пусть предположение, что Pyz(bj>ci) >
> 0 и PyZ(bj, ci) > 0, означает, что сг- и с; эквивалентны. Тогда из (I) следует, что для этих пар уг, имеющих ненулевую вероятность, Р (х | уг) не зависит от z и поэтому справедливо (II), откуда следует I (X; Y) = I (X; Z).
(б) Если ct и ci являются эквивалентными для данного распределения на входе с Рх (%) > 0, то для всех k имеем
Р ,„v Pz]x(Ci\%)Px(ah) ^PZ]x{‘l\%)Px(ak)
Px\z{\\Ci) ----------------
Пусть a= Pz (с.) / Pz(cl). Тогда для всех k имеем
pz|x(cj|ah)=apz|x(c;iaft)- (1V)
581
Если Qx (ak) > 0 является другим распределением на входе и Qz — соответствующее ему распределение на выходе, то из (IV) получаем Qz(ci) = aQz(ci)-
При этом ?Z 1 Х ^ I аQx ^ = Pz 1 А' (С11 °^ Qx ^
Qz (ci) Qz (ci)
и Cj, ci остаются эквивалентными при этом новом распределении. Теперь из результатов пункта (а) следует, что если / (X; Y) — I (X; Z) для первоначального распределения, то тот же самый результат справедлив и для нового распределения.
2.19. (а) / (XY; Z) = 1 (X; Z) + / (Y; Z\ X).
Так как / (К; Z | X) > 0, то / (XY; Z) > / (X; Z). Из теоремы 2.3.3 следует, что неравенство переходит в равенство тогда и только тогда, когда при условии, что задано любое значение х, имеет место статистическая независимость У иг.
(б) Н (XY | Z) = Я (X | Z) + Я (Y | XZ). Поэтому Я (XY | Z) > Н (X\Z) с равенством тогда и только тогда, когда у однозначно определяется х а г.
(в) / (XY; Z) = 1 (X; Z) + / (Z; Y | X) = / (Z; К) + / (X; Z | Г). После соответствующей перестановки членов можно увидеть, что заданное неравенство всегда удовлетворяется с равенством.
(г) Я (XYZ) — Я (XY) = Я (Z | ХГ), Я (XZ) — Н (X) = Я (Z | X).
Из (2.3.13) следует, что Я (Z | X) > Я (Z | XF) с равенством тогда и только тогда, когда при условии, что задано любое значение х, имеет место статистическая независимость у и г. Таким образом, данно,е неравенство справедливо и переходит в равенство при указанных выше условиях.
2.20.(a) PXYZ(0, 0,0)=Pxyz(0, 1, 1)=РЛУ2(1, 0, l)=P*yz(l, 1,0)=V..
При этом имеем / (X; Y) = 0 и / (X; К | Z) = 1 бит.
(®) ^xyz (0. 0> 0) = Рxyz О > 1 > ” х/г-
При этом / (X; Y) — 1 бит и / (X; Y | Z) =0.
2.21. (a) D [/ (х; у)] = 0 тогда и только тогда, когда I (х\ у) принимает одно и то же значение для всех пар ху, имеющих положительную вероятность, т. е. если log Р (х, у) j Рх (х) Pv(y) = log а для всех ху, для которых Р (х, у)>0', Р(х, у)=аРх(х)Ру (у).
(б) После усреднения / (х; у) получим / (X; F)=loga.
При a = 1 имеет место статистическая независимость X и Y, и / (X; Y) = 0«
(в) Для первого канала Рх (ai)=1/2, и Рх (а2) и Рх(а3) произвольны. Имеем / (X; Y) = 1 бит. Для второго канала Рх (а.) =1/3, 1 < i <3, и / (X; К) = = log 3/2.
2.22. См. какой-либо элементарный учебник, в котором рассматриваются случайные величины с непрерывным множеством значений.
.23.(а) Ру ! х(у |—l/S) ехР
Pr [y>ou=-Vs] =
У2л
ехр
vs/o*
У2л
ехр
и* 2
2 о2
(y + ^g)2
2a2 du,
dy-
582
y + Vs „
где была сделана подстановка и —----------------- • Точно
а
что Рг {у < о| Ar="l/'S] имеет то же самое значение.
так же можно показать,
(б) Рг [sign у ф sign х]
Ys/a*
V2i
¦ ехр
5/dz
(-f)
du =
Vs/aг
du ж —-2
____^—; "[/s/a2—мало,
2л а2
где было использовано приближенное равенство ехр—а ж 1 для малых а. Известно (Феллер, т. 1,гл. VII, § 1), что для больших значений у справедливо
ОО
lvkaf{^-r)duavkl‘,>p(-f
У
Положив у =УSja2, получаем искомый результат*
2.24. (а )-I (X-Y)=\\Pxy (х, у) logPx (х)руМ dx dy <
Р ху (х, у)
(б) Пусть
Pxy (л < (bg е)^Рху (х,у)
