Вероятность: основные понятия, структура, методы. - Скороход A.B.
Скачать (прямая ссылка):
Н(1)=^/(х)\оё2/(х)с1х (15)
и будем называть эту величину энтропией непрерывно распре-
деленной величины. Тогда разность е-энтропий для двух не-
прерывных величин |] и \2 стремится к #(Ы—Н(12) в пред-
положении конечности этих энтропии.
Аналогично для случайного вектора | в Яа, имеющего плот-
ность }(х), его энтропия определяется также равенством (15)
(интеграл берется по Яа). 8-энтропия вектора £, определяется
как выражение
- 2 р\ыу£]...,^ьё2р\1еу£1..,ка}, аб)
Ь1,...,кй
где У1г?,...,ка = {х:к,х&<хх <(А1-г-1)е, ..., ^е<хй <(ка-{-1)е},
Х\, ....^ — координаты точки х. Она отличается от энтропии
на величину <Ио^2 — +о (1).
8
Пусть | и г(— две величины, имеющие совместную плотность
распределения Д>Т1 (х, у), /\(х) и (у) — плотности для величин
I и ту соответственно. Выражение
называется условной энтропией | относительно г\. Если £ и г)
независимы, то Я(£/г|) = Я(£). Справедливы формулы: пусть
| и г) — случайные величины в конечномерных евклидовых про-
странствах X и У, имеющие плотности распределения, пара
(|, г)) имеет плотность распределения в пространстве ХхУ,
тогда
37. Я((|,т|))=Я(|)+Я(т1/|).
38. Я(|,п)
39. Если |, л независимы, то Я((|, ц)) = Я(|) + Я(г)).
Доказательство Э7 и Э9 вытекает из (16), Э8 можно полу-
чить с помощью предельного перехода от дискретного случая.
1.4. Информация.
а) Информация в одном эксперименте от-
носительно другого. Пусть В\ и В2 — Два эксперимен-
та с конечными числами исходов. Величина
1{ВиВ2)=Н{В1)-Н(В11В2) (17)
называется количеством информации, которая содержится в
эксперименте В2 относительно эксперимента В\. Численно она
равна уменьшению энтропии эксперимента Ви если осуществ-
лен эксперимент В2. Если {А{} — исходы эксперимента В\,
{Вк} — эксперимента В2, то
/(«*!, аг2)=-2РИ') 1оВ2р(а) а2 р{А1л Вк} 1оё2Р{РЛУ =
= - 2р ( а} ьё2 р и,} - 2 р {вк\ 1о§2 р {вк}+
+ 2р{ал,В*}1оё2р{Лгп5А}.
1,к
Отсюда находим такую формулу для количества информации,
которую укажем как ее свойство:
П. 1(ВиВ2)=Н{Вх)+Н{В2)—Н{ВхХВ2).
Из этой формулы вытекает следующее свойство:
12. 1(ВиВ2)=1(В2,В1)^0. /(«",, #2)=0
лишь в том случае, когда В\ и В2 независимы (мы воспользо-
вались свойством ЭЗ и (17),).
Пусть В и «У —два эксперимента, исходы первого Аи вто-
рого А;. Если для всякого I найдутся такие у,, у'г, что
Лг= [}А)к, то будем писать ВаВ'.
13. Если «Г.сГь то 1(ВиВ2)<1{ВиВ2).
Для доказательства достаточно установить, что Н(<$2\&\)<.
<Я(<Г2|й,1). Имеем
Н (<Г218\) = -2 Р (ß/п л') 1оё2р (ßJ I =
= "2 2 P(B}f]A'i)log2P{BJ\A'i)<
< - 2 р (ß; П А) log2 Р (Bj \Ак) = Н (<Г21 «ГО,
последнее неравенство выводится точно так, как ЭЗ.
б) Информация в одной стационарной по-
следовательности относительно другой. Пусть
последовательность пар случайных величин {(In, г\п), п=
= 0, 1,...} стационарна, gn и г\п принимают конечное число
значений. Количество информации в последовательности {ri„}
относительно последовательности {£„} есть величина
/ Ш, Ы) = Мт~I №X • • • X&(п\ > X •.. X£п2)), (18)
где — эксперимент, заключающийся в измерении \ю <!?„2) —
в измерении г)п.
14. Предел в (18) существует и равен
/({In, т)„}) =Я({Ы) +Н({цп})-Н({(1п, т]„)}). (19)
Это утверждение вытекает из Э5.
15. Пусть In — стационарная эргодическая цепь Маркова,
пара {(|п, Лп)} — также стационарная цепь Маркова. Тогда
П{1п), (1„})= 2 \Рак.ь,Р(ак1 b{, аь bj) —
i.J.k,!
— 2 PakPiflk\ aj)ParblP(an bt\ as, bj)} log2 P (ak, bc; ah bj), (20)
r,s
здесь (aj — значения %n, {bj} — значения цп,
Pak=P{li-=ak}, P {ak; aj) = P{l2=aj\lx = ak},
Pakbt^=P{l\^ak, rh = &,}, P{ak; bf, at, ö;} =
= P{g2 = a;, r)2 = bj\lx = ak, % =
Доказательство. Воспользуемся формулой (19). Так
как {!„} и {(gn> г\п)} стационарные цепи Маркова, то для них
справедлива формула (13). Вычислим энтропию {г\п}. По оп-
ределению
Н (Ы) = — Hm -j- М log2ip„ (rib .. •, Чп),
где
п-1
к=\
где в свою очередь
(ЦЬ^ Ь/, ак, а1) = 'Р{щ=Ь1\ц\ = Ь1, %х = ак, 12 = а,} =
_ Р(д^, Ьй сц, Ь,)
Используя эргодичность легко показать, что
п-1
мр {г,, = ь1х | и II о и =
п-1
= ехр |^ М1п0(6г,, £*, £*+!) +йе„|,
где 8„->0, Значит,
п-1
Н ({Лп}) = — Нт 2 Г1о&2 2 Пк+и аь а,)рв1Р (а*; а,)
X 2 /V/* (аг. я*. й;)^2Р (аь V, ау, Ь{) — Н ({!„}).
Вычисляя #({(!„, т)п)}) по формуле (13) и подставляя по-
лученное выражение для Н({х\п}) в правую часть (19), полу-
чим (20). □
