Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
определенные рекуррентные соотношения. Описанное обстоятельство
способствует получению разнообразных результатов.
Между тем применение результатов теории к физическим и техническим
задачам часто сопровождается затруднениями. В указанных приложениях
функции времени обычно обладают рядом "хороших" свойств: гладкостью и
даже аналитичностью, что, как известно, несовместимо с марковскими
свойствами процесса. Поэтому применение теории точных марковских
процессов необходимо связано с некоторыми приближениями.
Возникает практически важная и принципиально интересная проблема
исследования близости марковского и не-марковского процессов, изучения
условий их взаимозаменяемости и связанных с этим погрешностей. Эта
проблема в настоящее время почти не изучена, если не говорить о некоторых
тривиальных частных случаях. Предварительные общие исследования по
данному вопросу содержатся в § 4 монографии Стратоновича [8].
Утверждение факта сходимости немарковского процесса к марковскому до
известной степени напоминает центральную предельную теорему, касающуюся
сходимости негауссового закона распределения к гауссовому. Из этой
аналогии видна
9
обширность данной проблемы. Конкретизация понятия "близости" марковского
и немарковского процесса, исследование условий сходимости и быстроты
сходимости может составить содержание отдельной главы теорйй
вероятностей.
Здесь мы рассмотрим лишь один частный результат по указанной проблеме.
Именно при некоторых предположениях мы докажем самый факт сходимости
распределения немарковского процесса к распределению диффузионного
марковского процесса. Вообще говоря, этот результат содержится в
результатах указанной монографии, изложенных с более общих позиций, но
здесь он будет разобран и доказан более подробно.
Пусть немарковский процесс { x(t)} = { x(t), t, со, р } определяется, как
это часто бывает в приложениях, дифференциальным уравнением
' llML=G(x(t), t, со, р). (1.1)
at
Здесь со - точка основного вероятностного пространства (Q,eM, Р). Для
простоты будем считать процесс \x(t) \ одномерным, т. е. полагать, что
его фазовое пространство есть интервал I. Без дальнейшего ограничения
общности можно считать /= (-а, а). Кроме этого интервала мы будем
рассматривать также круг R = {| х | -< а} в комплексной плоскости. Время
t пусть является точкой действительной оси, а
р - положительное число. Сформулируем ряд предположе-
ний относительно функции, стоящей в правой части: l.Aj. При фиксированных
t, р, x(dR) она является ^-измеримой "-функцией, причем моменты
МG (xl3 tlt со) ... G (xr, tn со) (1.2)
всевозможных порядков r= I, 2, ... конечны.
1. Аг. При фиксированных со, t, р она с вероятностью 1 представляет собой
регулярную аналитическую функцию от х в круге R. Аналогично ее моменты
(1.2) регулярны в RX ... XR.
1. Аз. При фиксированных х, со, р она с вероятностью 1 является
непрерывной функцией от t.
1.А4. При фиксированных х, р она является стационарной случайной функцией
(в узком смысле).
Если задать начальное условие
х (s) - У ^ /> (1.3)
то уравнение (1.1) почти всюду будет определять процесс
x(t)=f{s,y,t,(a,\i)=fs{y) (1.4)
10
на тех временных интервалах s<t<Q(s, у, со, р)=0(со), т. е. на тех
множествах
Q' (s, у, t, р) = {со: t < 0 (s, у, со, /л)},
где этот процесс не выходит из I. Здесь 0(s, у, со, р) -первое время
выхода из / траектории, начинающейся в у. Это следует из известных
положений теории дифференциальных уравнений, если учесть 1.А3. Очевидно,
что функция (1.4) будет оМ -измерима при фиксированных прочих аргументах,
"^-измеримость сохранится, если в начальном условии (1.3) значение у =
у(со) считать "^-измеримой co-функцией. Итак, описанным способом
сконструирован вероятностный процесс x(t, со, р).
Дифференциальное уравнение (1.1) можно заменить на интегральное
t
x(t) - у J* G(x(х), х, со, fi)dx.
S
Последнее можно решать методом последовательных приближений по формуле
t
Д/+1) (t) = у -f | G (*</> (т), т, со, р) dx,
S
j= 0,1,...; xv"{t)=y, (1.5)
Как следует из теории дифференциальных уравнений (см., например, Смирнов
(1], стр. 152-156), эти приближения заведомо будут сходиться для точек
со, соответствующих непрерывным по t функциям G (т. е. почти всюду), на
отрезке [s, 9' (со)]. Здесь
9' (со) = Мо1 rtiin(a - у, а-\-у)\ (1.6)
Mg = sup {| G |; x?I, s<^< 9(co)}.
На указанном интервале ни одно приближение (1.5) не выходит из [-а, а].
Для разностей х3 = Дй-лД-О согласно (1.5) имеем реку-рентные соотношения
t
xi+1 (t) = j [G (у + x1 -j- . .. + x>-1 + xi, x, со, p) -
S
- G (y + xx + . .. + xi~l, x, со, p)] dx.
Пользуясь аналитичностью функции G по x, разлагаем подынтегральные
функции в ряд Тейлора
который сходится на [5, 0'(а>)].
Пользуясь этими соотношениями, можно явно выразить все лг3' через функцию
G и ее производные. Так, младшие формулы имеют вид
Точное значение x(t) представляется сходящимся п. н. (почти наверное)
рядом
Легко понять, что подстановка выражений типа (1.7) в
