Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
есть множество всех, мер на ?t (t фиксировано). Условия, наложенные на
меру Vt, ' определяют при фиксированном t некоторую о-алгебру 'Tt в
пространстве й. Поскольку УДТ) при любом V€.?t есть ^j-измеримая функция,
то °У,?1еУа,
Определение 5.3. Пусть заданы
А) марковский процесс' (й, ?t, t ? T, Р);
Б) наблюдаемый процесс (Й, У 0 t?T, Р), такой что
WtCZt,
и В) выбран какой-либо вариант основной апостериорной меры, Vt и,
следовательно, заданы, соответствующие ей а-ал-гебры cVt. Тогда процесс
(Й, tdT, Р) называется вторич-
ным апостериорным V-процессом.
Кроме указанного процесса вторичным процессом является процесс Wt.
Фазовым пространством последнего служит множество вероятностных мер на
351. Для этого процесса моменту времени t соответствует ст-алгебра WfCZVU
которая аналогична eVt и определяется условиями, наложенными на Wt.
Определение 5.4. Пусть заданье
A) марковский процесс (Й, t?T, Р);
Б) наблюдаемый процесс (Й, У t, t( Т, Р), У tC.3?t\
B) условные вероятности W( (•) = Р (-| У'а)
и соответствующие им о-алгебры Wt ¦ Тогда процесс (й, Wt, t(zT, Р)
называется вторичным апостериорным W-процессом.
Теорема 5.8. Вторичный апостериорный V-процесс \Vt} почти наверное
является марковским.
Доказательство. Докажем, что при любых t\< ... <tn+i (из [О, Г0]) почти
наверное выполняется равенство
где V<"+1 в силу 1° есть ЙГ^^/^+'-измеримая функция. Отсюда следует, что
К, (Г) есть -измеримая функция при любом Г ? ,2Г;. Поэтому индикатор
множества также есть
-измеримая функция, и
и рассмотрим вероятности, стоящие в его правой части.
Возьмем равенство
Р (В | Г и . .. Tta) = j Р (В | Т*, .. . Тфгп) Р (dz,- TtJ
(5.78)
117
Покажем сначала, что
P(B\Ttl... Ttn?tn) = Р (В | Ttn?tn). (5.79)
Из определения условных вероятностей и условных математических ожиданий
следуют очевидные равенства
М [Р (В | ?np?t) | ?'"P?t\ = Р (В | ?np?t) при ?пр (Z &'пр,
M[P(B\?t?6)\?t\=P(B\?t) п. н. (В любое).
Комбинация этих равенств, вообще говоря, не верна. Однако, если принять
во внимание условие Маркова (независимость прошлого от 'будущего при
фиксированном ?t), то будем иметь *
М [Р (В |?ul?t?6) |= Р (В | ?uv?t), (?upCZ?nP, В ? ?ьа).
(5.80)
Положим здесь t = tn; SFnp = Ttn; SF"P = Tti.. .Ttfi;
B(:Ttn+1, тогда
M [P (B | Ttn?tnV ;"+i) \Ttl ... Tt?tn) = P (B | Ttn?tn). (5.81)
Подставляя (5.77) в правую часть равенства
Р (В | Ttl ... Ttn?tn) = М [Р (В | Th .... Tt?tny {"->) 1 Tfl ...
¦ • •
и учитывая (5.81), доказываем (5.79). 14
Перейдем к другой вероятности Р (dztn | 'Vt, ¦ ¦ ¦ , входящей
в (5.78). Поскольку 1ft. С2^аЧ г = 1, .. . , л, то
Р(Г<ЯI Г,, ... Г<П) =М[Р(Г<П| 3^") IГ(1 ... Ttn].
* Приведем формальное доказательство равенства (5.80). Поскольку = = a
(Zfa, Zb), то любое множество B(^Zba может быть представлено не более чем
счетной суммой множеств вида ВпрВд, Bnp^Z(a, Bg^iS*. Достаточно доказать
(5.80) для одного такого слагаемого. Вследствие марковского условия имеем
Р (Я"рЯб Ic^np^cFg) = Р (Впр \ ZnpZt) Р (Вб I ZtJF6).
Подставляя это выражение в левую часть (5.80), учтем, что
М [Р (ВПР I <^прZt) Р (Вб | ?&6) | <^прЕ,] =
= р(япр|<УпРг<)М[Р(яб|Е/^в)|<у;рЕ<] (т. к. ^прС^р).
но
м [Р (Вб I ?toFb) IКРZt] = м [Р (Вб J S,<F6) | Zt] (= р (Вб | Zt))
Р (Snp | aFn^Zt) Р (Вб I Zt) = Р (ВпрВд | oFnpZt) опять-таки в силу
условия Маркова.
118
Но согласно (5.47)
vt (г/ )
гп
причем Vt есть ^л-измеримая функция. Поэтому
К (Г, )
1 п 4 1 п '
р(г<л|Г<1...т^) = м
vt (г; )
" " \Tti...Ttn
vtn (й)
-.(5.82)
VtJQ)
Равенство (5.78) согласно (5.79), (5.82) принимает вид
vtAdzt")
Р(Я|Г,, ...r,n)= P(B\TtnZtn)
Vt" (й)
Это доказывает, что P{B\'V¦ ¦°V>t^) есть TV-измеримая функция и,
следовательно, выполняется (5.75). Доказательство закончено.
Аналогичная теорема имеет место и для другого вторичного апостериорного
процесса.
Теорема 5.9. Процесс { Wt } почти наверное является марковским.
Доказательство аналогично предыдущему. Разница заключается в том, что
теперь для доказательства включения !Wtn+lC2,Wtn Уt"+1 нельзя
использовать (5.76), а следует обратиться к равенству
К) = [ J "Д, Ш КН <*¦ О)]-' J "Д, №> V'C' <z> Г).
(5.83)
вытекающему из (5.52), (5.49) и условия нормировки
\Кг(П) = 1. Кроме того, вместо (5.82) теперь достаточно воспользоваться
более простым равенством P(Ytn\Wtl ¦¦¦'т№*п) - = ^"(Г<Л) • Прочие
изменения не требуют пояснений.
Следствием из приведенных теорем является тот факт, что вероятности
перехода вторичных процессов удовлетворяют уравнению Чепмена-Колмогорова.
Эти вероятности мы будем называть вторичными апостериорными
вероятностями-перехода в отличие от (первичных) апостериорных мер 1Д, Vs,
Wsa. Инфинитезим альные операторы, соответствующие вторичным
апостериорным вероятностям, будем называть вторичными апостериорными
операторами и обозначать
Доказательство последних теорем, как и ряд других результатов, изложенных
в настоящей главе, основаны на предположении о существовании системы мер
Vt , удовлетворяю-
119
щей требованиям 1°-3°. По интуитивным соображениям не вызывает сомнений
