Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Рс (D > 0) < ехр (— М e~N 1п 5/2).
Для М = |_е^Л/_| > —1 это неравенство принимает вид
Рс (D > 0) < ехр [(еад —l) e~N 1п 5/2].
687
Так как R > In (5/2), то это выражение убывает быстрее, чем экспоненциально с jV и, следовательно, для достаточно больших N
Рс (D > 0) < 5-Л'. (I)
Наконец, для любого заданного кода из ансамбля каждая последовательность источника отображается в кодовое слово либо с нулевым искажением, либо с бесконечным искажением. Так как каждая последовательность источника имеет вероятность S~N, то для частного кода вероятность того, что искажение больше 0, равна 0 или не меньше 5—jV. В силу (1) невозможно, чтобы Pr[D > 0] было не меньше 5~N для всех кодов из ансамбля, следовательно, по крайней мере для одного кода Pr[D > 0]=0. Такой код, очевидно, имеет нулевое искажение.
9.6. Для заданного источника имеем Qm;n = 0,2. Тогда из (9.5.13) выводим
R (d*) =Н (U) —Ж {d*) — d* In 2, для d* : 2Qm;n=0,4. Для больших значений d* имеем [из (9.5.25)]
R(d*)=Sm{H(Um)-M (d)-dln(m-l)], (2)
где
т— 1
v Q(k), d = k=0
«(«,„> **'«<*>
'V AJ s„
k = о "
In-
Sm
Sm
Q(k)
и m выбирается так, чтобы удовлетворить
К—! К—1
mQ(m)+ ^ Q (k) : d* <; (т — 1) Q (т— 1) + V Q(k).
k = m -]- 1 к = т
Для т — 2 выражение (1) принимает вид
R (d*) =0,8
In 2—Ж
i d* —0,2'' I 0,8
(3)
(4)
Из (3) выводим, что (4) справедливо для 0,4 < d* ^ 0,6. Из (4) видно, что для d* = 0,6 имеем R(d*) — 0. Для этого источника и меры искажения имеем dmax = 0,6 [см. (9.2.7)], так что R(d*) — 0 для d* 0,6. Заметим, что наклон R(d*) стремится к нулю при d* 0,6. Такая ситуация возникает для этой
меры искажения, когда две наиболее вероятные буквы источника имеют равные вероятности. Приведенная здесь кривая является графиком R(d*) и также дает минимум достижимой Ре на символ как функцию С.
9.7. Как и в основном тексте, имеем соотношения (9.7.2) — (9.7.4) и
°°
min R (р, Р) > ^ q (и) In du,
_ -L ?(“)
где /(и)=Ур/л; удовлетворяет ограничению (9.7.3).
Следовательно,
сю 1о
min R0 (р, Р) > I" q (и) In f (и) du + Н (U) =Н (U) + — ln -P
л
Таким образом,
R (d*) > min R0 (p, P) — pd* > H (U) + — In — — prf*
2 я
для любого p > 0, Максимум по р имеет место при р = l/(2d*), давая R (d*) > Н (U) —1/2 In (2jt е d*).
Ш
¦е-
Для вывода верхней границы примем, что случайная величина источника и имеет нулевое среднее и что и проходит через капал, изображенный на рисунке, где w — гауссовская случайная величина, не зависящая от и и имеющая нулевое среднее значение и дисперсию dA/(A — dj. Примем, что d <[ А.
Если среднее значение и отлично от нуля, то это среднее может быть вычтено перед подачей в канал и добавлено на выходе канала, что не повлияет на среднее искажение или взаимную информацию. Имеем
d (и — и)2 == j и —(,7 + ш) ¦
. I d = Л | —
1/4
/ (?/; V) = I(U; Z)
A---d ] Г d A---d '
"~А = и --- - А
А
dA j A—d
I — d I
= d,
1 и2 1 А ---d
--- In 1 + тгг =--In +
2 “ 2
d
Следовательно, R (d*) 1/2 in (Aid*) при d* < A.
9.8. (а) Уравнения (9.7.42) и (9.7.43) дают R(d*) для источника, представляющего собой гауссовский случайный процесс, и при среднеквадратической мере искажения. Для спектральной плотности, указанной в задаче и определяемой прямоугольником, эти уравнения приводят к простым выражениям
d* - — \ df = —1; Р > (1)
2pJ р 2А
V/,
R(d*) =
23 Зак. 210
1п [2рЛ] df — Wi In (2рЛ).
(2)
689
Подставляя р из (1), имеем
R(d*) = W1\n(2W1Ald*).
(б)
C = W2 In (1 +S/(lt72 iV,,)).
(в) Минимум среднеквадратической ошибки, который можгт быть достигнут при передаче от источника пункта (а) по каналу пункта (б) при использовании лучшего метода кодирования и декодирования, равен значению d*, для которого R (d*) = С. Решая это уравнение относительно d*, получаем минимальную среднеквадратическую ошибку d* = 2й7гЛ[1 + Для графиче-
