Теория вероятностей для астрономов и физиков - Агекян Т.А.
Скачать (прямая ссылка):
ь
H(X) = -^f (х) dx log [/ (ar) dx] =
a
b b = - JJ / и log If (®)] dx - 5 f (x) log (dx) dx. (2.172)
•a a
Первый член в (2.172) в общем случае ограниченная величина. Бторой же член, поскольку dx бесконечно мало, бесконечно большая положительная величина, поэтому и Я (X) — бесконечно большая положительная величина. Этот результат понятен, так как мы задались целью предсказать положение случайной величины внутри бесконечно малого промежутка. Очевидно, что мера неопределенности для такого предсказания должна быть неограниченно велика. Точно так же мера неопределенности будет бесконечно В6Л11К а, если по выражению (2.170) 126
случайная величина
[гл. 2
вычислять ее для дискретной величины, имеющей бесконечно большое число значений, и при п -*¦ оо считать, 1
например, Pi = —.
Б выражении (2.172) только первый член зависит от плотности вероятности случайной величины (второй равен оо!). Поэтому естественно, не определяя абсолютной величины меры неопределенности, сравнивать меры неопределенности различных распределений, путем сравнения первых членов в выражении (2.172). Для этого введем понятие дифференциальной меры неопределенности (дифференциальной энтропии)
OO
Й(Х) = - I f{x)log\f(x)]dx. (2.173)
—OO
Пусть
Y = X + 1, (2.174)
тогда I = Y- X. Так как при любой f(x)
OO со
- Jj / (X) log l/ (X)] dx= - 5 f(X + l)log [}(X+l)]d(X + l),
—00 —оо
(2.175)
то это показывает, что дифференциальная энтропия не зависит от математического ожидания случайной величины.
Покажем, что если случайная величина задана в промежутке [а, 6], то наибольшей дифференциальной энтропией обладает равнораспределенная случайная величина. Так как всегда должно удовлетворяться условие
ь
\f(x)dx=\, (2.176)
а
то для нахождения максимума энтропии нужно составить функцию Лагранжа
ь ь
L = \flagfdx-K^fdx (2.177)
U <( § 3j] мера неопределенности случайной величины 127
и, рассматривая вариацию плотности вероятностей, приравнять нулю вариацию L. Находим
ь
I (log / +log е- К) 0/ dx = 0. (2.178)
а
Равенство (2.178) должно выполняться при произвольной вариации б/. Из этого следует, что
log / = Я — log е,
т. е. / =s const в промежутке [а, Ы.
Таким образом, утверждение доказано. Оно полностью соответствует введенному понятию меры неопределенности, так как при равнораспределении в промежутке Ia, &] предсказание, в какую из частей промежутка попадает случайная величина, наиболее затруднительно. Согласно равенству (2.176), раз / = const, то
/ - Ъ^Га • (2.179)
Это дает и неопределенный множитель Я. Значение дифференциальной энтропии для равнораспределенной в промежутке [а, Ь] случайной величины равно
ь
A(X) = — ^g-A-Iog ^A-dar = log (Ь - а),
а
Определим, при каком распределении случайной величины в промежутке f—оо, оо] дифференциальная энтропия максимальна при фиксированной дисперсии случайной величины
Так как, кроме условия нормировки (2.176), теперь введено условие фиксированной дисперсии,
OO
о2= 5 (x-Xff(x)dx, (2.180)
—оо
то функция Лагранжа имеет вид
ОС OO OO
5 ./IoZfdx-U I fdx \ (J--X)Vdx.
¦ - CV —оо — оо (128
случайная величина
ігл. 2
Рассматривая вариацию / и учитывая, что энтропия не зависит от X, приравняем вариацию L нулю:
ОС
5 [log / + log е - K1 + K2 (х - J)2] o/dx = 0. (2.181)
— оо
Так как равенство (2.181) должно быть справедливо при любой вариации б/, то "3 него следует, что
log / = - log е +K1- K2 (х - Х)а. (2.182)
Это показывает, что при фиксированной дисперсии максимальную энтропию имеет нормальная функция. Ee можно записать в каноническом виде
(X-I)'
Пх) = TTTTe' *" • (2Л83)
где а — заданная дисперсия, а X может быть любым. Условия нормировки и (2.180) определяют также Xi и K2. Значение дифференциальной энтропии нормальной функции находится путем подстановки (2.183) в (2.173):
h\X) = log(a/2ne). (2.184) Глава З СЛУЧАЙНЫЙ ВЕКТОР
§ 35. Понятие случайного ветгора. Функция распределения случайно о вектора
Пусть
X1, Xi, . . ., Xjt (3.1)
— случайные величины; можно рассмотреть /с-мерный вектор
X = (X11 Xsi . . ., Xk). (3.2)
Мы назовем его случайным вектором. Говорят также, что X есть многомерная случайная величина. Ей можно сопоставить точку (конец случайного вектора) в &-мерном пространстве с координатами (3.1).
Случайный вектор считается заданным, если для любых значений Xi, хг, . . ., xh известна функция
F (®j, Xi,. . ., xh) =
= P (X1 < X1, Xi < X2, ..., Xh < xh), (3.3)
называемая интегральной функцией распределения случайного вектора (3.2).
F (X1, Xt, . . ., xh) есть, очевидно, неубывающая функция по каждому аргументу. Она обладает свойствами
Iim F(хи хг,...,хк) = 0 (l<i<A), (3.4)
X- -» — во
какими бы ни были значения остальных аргументов, и
F(-f- оо, + оо, . . ., + оо) = 1. (3.5)
Если существует такая функция / (хи Xi, .. ., xh), что для любых значений X1, X2, . . ., xh выполняется равенство
*t *« *ls
F (xi, х2,..., Xh) = S S.-.J/di,е......1,)??...dtk,
