Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
(в) р(у | *) можно представить следующим образом:.
1 е-1 у l/a<p(*, у),
где
ху > О,
ехр{—1г/|[~? -^-]}ху <0.
Тогда
N Г 1 I 1/1 ^
1пр(у|хт)= 2 1п|_<Г+тГ J + 2 1пФ (*»»."• Уп)-
При декодировании по минимуму правдоподобия выбирается т, которое максимизирует приведенное выше выражение. Так как первое слагаемое не является
660
/
Ру(у) ч- 1
___1-1-- ] 1- 8
I----------1--------------------1----------1--------—
-3 -2 -1 0 i 2 3 у
функцией xm, то выбирается от, которое максимизирует
N / l l \
2 1пФ(*т, n- Уп)= 2 —Uni ——------------ •
n = 1 xm.nVn<0 ' ° a '
1 1
Так как —*—— > 0,то это эквивалентно выбору т, которое минимизирует b а
2 \ Уп\-
п• хт.п«п<°
(г) При отсутствии кодирования принимается х = ] при у > 0 и х = — 1 при у < 0. Следовательно,
—-ey/bdy =
+ Ь а + 6
7.3. (а) Ограничивая входной алфавит множеством из К букв, получаем стирающий канал с К входами, и как пропускная способность, так и ?,0(Р) Д°-стигаются на равновероятных входах. Имеем
С(Л:)=1/2 1пАГ, Е0 (р, К) = 1п 2 —1п[/Г“р + 1].
1п 2, р > 0,
В пределе при К получаем
С = оо ,
Е0(р)- ,
; 1 0 , р = 0,
Er(R)= sup[?,0(p) —рЛ] = 1п2 для всех R.
0<р«1
(б) Для любого кода с М кодовыми словами и длиной блока N полностью стертая последовательность принимается с вероятностью 2~N, и при условии наступления этого события вероятность неправильного декодирования равна (М — \)!М. Следовательно,
Ре>^2~». е М
Это выражение отличается от Ре < e~NEr<-^ =2—w только множителем (М — 1 )/М.
7.4.(а) Для того чтобы показать, что С достигается при рх (х) = 1/2я,
0 < х < 2я, достаточно показать, что при таком выборе
2Л
Г р(у\х) In—----------------------dy (0
J Рх (•*) Р (У \х) dx
661
не зависит от х. Используя равенство у
I
1 1
— р-7 (и — х) dx =— для всех и, 0 < и < 2л, 2п z 2я
—2я+у
и изменяя порядок интегрирования, интеграл (1) можно привести к выражению
2я
С= \ pz (г) In [2л pz (г)] dz,
0
которое, очевидно, не зависит от х и, следовательно, равно пропускной способности. Аналогичные соображения показывают, что та же плотность удовлетворяет (5.6.37) и
2я
Ео (Р) = — In (2л) — (1 + р) In | ¦— PZ (г)1 /(I+p) dz.
о
(б) Для pz (z) = 1/а, 0 < z < а, имеем
С = 1п (2я/а), Е0 (р) =р In (2я/а),
Ег (R)=C—R, 0<Я<С.
Для pz (г) =ае~аг/(1—е—2яа), 0 < г < 2л,
^ i 2ла t _ 2ла
1 2па * + „2яа
е— J
2яа
?„ (р) =р In 2яа + In (1 -е-2яа) -(1 + р) In [(1 + р) (1 -е 1+Р)]. Имеем параметрические уравнения для R и Er(R)
2ла
е (1 +р) (1 — ехр [ — 2па/(1 + р)])
2па
С /т 1 Г 1—ехр(—2яа)
Ет (R) = In
(1 + р) {ехр [2ла/(1 + р)] — 1} + р —
(1+Р) [1 —ехр (—2яа/(1 +р))]
2яар
(1 + Р)[ехр (2ла/(1 +р)) — 1] '
Они справедливы для р ^ 1, а для меньших R
ET(R)=E0(l)-.R
7.5. (а) Естественно предположить, что входное распределение должно быть частично сосредоточено в концевых точках и, следовательно, при начальном угадывании используем только х = —¦ V2 и д: = Vj с вероятностями V2. Это приводит к выходной плотности, задаваемой выражением
М/2, | у\ < 1/2,
РуЫ—j 1/4, 1/2 < I у I < 3/2,
(. О во всех других точках,
р (и\х) 1
