Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
(б) Пусть у — случайная величина со средним значением у и дисперсией оI. Считая, что рассмотренной выше случайной величиной л: является (у — у)2,
517
показать, что для любого е > О
Pr[|0-iM>e]<-^.
(в) Пусть zlr z2, zN — последовательность статистически независимых одинаково распределенных случайных величин со средним значением г и дисперсией at. Пусть yN — выборочное среднее значение
1 N
Уы =~д7 S гп-
п=. 1
Показать, что для любого е > О
Рг[|^-Ы>е]<^. (*)
Указание: сначала найдите дисперсию 2гп, используя задачу 2.3 (в).
Найдите предел при N оо вероятности Pr[ | yN — yN | > е] для любого фиксированного е > 0 (этот результат называется законом больших чисел).
(г) Пусть случайные величины zlt ...,zN, определенные в пункте (в), соответствуют N независимым испытаниям в эксперименте. Пусть Е — некоторое заданное событие и пусть zn = 1, если Е происходит при п-м испытании и zn = = 0 в противном случае. Выразить словами утверждение неравенства (*) в этом случае и вычислить yN и о|- Найти также точное выражение для
Pr[|«/jv ~~Уы I > е1-
2.5. Источник производит статистически независимые равновероятные буквы из алфавита (ах, а2) со скоростью 1 буква каждые 3 с. Эти буквы переда ются по двоичному симметричному каналу так, что каждую секунду передается один символ; буква источника аг кодируется в кодовое слово ООО и буква а2 кодируется в кодовое слово 111*>. Если на выходе канала в течение интервала, равного 3 с, принимается одна из последовательностей ООО, 001, 010, 100, то декодируется аъ в противном случае декодируется а2. Пусть е < V2 является переходной вероятностью канала (см. рис. 1.3.1).
(а) Для каждой возможной последовательности из трех принятых символов на интервале, соответствующем передаче заданной буквы источника, найти условную вероятность того, что аг была на выходе источника.
(б) Используя пункт (а), показать, что приведенное выше правило декодирования минимизирует вероятность неправильного решения.
(в) Найти вероятность неправильного решения (использование для этого пункта (а) не является самым простым способом).
(г) Предположим, что источник работает с более низкой скоростью, производя одну букву за каждые 2ti + 1 секунд; кодируются в 2п + 1 символов 0 и а2 в 2л + 1 символов 1. Найти правило решения, минимизирующее вероят ность неправильного решения при декодировании. Найти предел этой вероятности неправильного решения при п оо.
Указание: используйте закон больших чисел.
2.6. Среди всех женщин X имеются V* блондинок, V2 брюнеток и V4 ша тенок; блондинки никогда не опаздывают на свидания; шатенки всегда опазды вают; а каждая брюнетка всегда подбрасывает симметричную монету, чтобы решить, следует ли торопиться или не спешить на каждое свидание.
(а) Какое количество информации содержится в утверждении «х, элемент X, прибыла вовремя» относительно каждого из следующих предложений:
В условиях задач и их решениях ие делается различия в написании элементов поля, элементов последовательностей и натуральных чисел (в отличие от основного текста). (Прим. ред.)
518
1) х — блондинка;
2) x — брюнетка;
3) jc — шатенка?
(б) Сколько информации содержится в утверждении <а, элемент X, пришла вовремя на три свидания подряд» относительно предложения «х — брюнетка»?
2.7. Для передачи по двоичному симметричному каналу с переходной вероятностью s (см. рис. 2.2.1) множество из восьми равновероятных сообщений кодируется в следующее множество из восьми кодовых слов:
х6= 1001, хв = Ю10, х7 = 1100, х8= ПП.
хг = 0000, х% = 0011, х3 = 0101, *4 = 01 10,
0000, опреде-
Пусть на выходе канала принимается последовательность у лить;
(а) Количество информации о хх, содержащейся в первом принятом символе.
(б) Дополнительное (условное) количество информации о хх, содержащееся во втором принятом символе, третьем символе, четвертом символе.
2.8. Рассмотрим ансамбль последовательностей xlt х2,
состоящих
из N двоичных символов. Каждая последовательность, содержащая четное число единиц, имеет вероятность 2—W+1, а каждая последовательность с нечетным числом единиц имеет нулевую вероятность. Найти средние взаимные информации / (Х2; Х1), / (Х3; X2|Xi),..., /(Хд,; Хдт_[ j Х±.. .Хдг_2).
Проверить ваш результат для N = 3.
2.9. Источник X производит буквы из алфавита, содержащего три символа, с вероятностями Рх( 0) = 1/4, Р^(1) = lU, Рх{2) ^ У г- Каждая буква источника х непосредственно передается сразу по двум каналам; у иг выходы каналов, а переходные вероятности указаны ниже.
