Вероятность: основные понятия, структура, методы. - Скороход A.B.
Скачать (прямая ссылка):
r\(-)£Du[0, Т], при этом t|(0=S(|(-),0.
P{l(t+h)¥=l(t)ll(s), s^t}=X(t,l(t),ri(t))h+o(h),
Р{1^+к)Ф1(1), Ut+h)eB/%(s), s<0 =
= 4t, l(t),4(t))Tc(t,%(t),n(t),B)h+o(h).
Построение проводится последовательно. Пусть Xo — начальное
состояние процесса. Положим £о(0 =Хо для всех ^б[0, Т], г|о(0 =
= S(l0(-),t), r\0(t)—неслучайная функция. По X(t, х, r\o(t)) и
n(t, х, г)о(0) строим марковский процесс (точнее, его конечно-
мерные распределения). Пусть это процесс |i(0; если ti —
первый момент скачка, положим %\(t)=Xo при ^<ть £i(0 =
= 1i(ti) при t^Ti. Обозначим гц (0 =5(Ы • М)• Очевидно
1i(0=Tlo(0 при /^ть Далее строим процесс |г(0 на отрезке
[т\,Т], считая ti и £i(ti) фиксированными. Если т2 — первый
момент скачка этого процесса, то полагаем \,2{t)=xQ при t<.
<т,, |2(0=ii(Ti) при *е[т1,т2[, ЫО^Ы'г) при ^т2. По
|г(0 определяем т)2(0, ПРИ этом оказывается r|2(0 = 4i(0 пРи
^^тг. Аналогично продолжим это построение, пока для неко-
торого k процесс £fc+i(0 на [тй, У] не будет постоянным, т. е.
|I+i(0=lft(0- Тогда |ft(0 и г|Ь(0 будут искомой парой про-
цессов. Легко видеть, что если i(t, х, и) i£Zc, то Для числа v
скачков l(t) имеем оценку P{v^k}^A —TJ* , где А— некото-
рая постоянная.
б) Уравнение Беллмана. Пусть стоимость управ-
ления определяется величиной
т
о
15—2550
225
Здесь u(s)—функция со значениями в U, определяющая уп-
равление в момент s, x(s) —состояние управляемого процесса
в момент s,f(s,x,u) 93rj®9%®4>? — измеримая, ограниченная
функция. Обозначим через U{t,x) цену управления процессом
на Т] при условии x(t)—x:
U (t, х) = Inf М (j / (5, I (s), л (s)) ds 11 (t) = x^j. (19)
Инфимум берется по всем ступенчатым управлениям, описан-
ным выше. Уравнение Беллмана — это уравнение для U(t, х)
при /б[0, Т].
Теорема 4. Пусть функции K(t,x,u), n(t,x,u,A) при
фиксированных х н А непрерывны по / равномерно относи-
тельно и. Тогда функция U(t,x) дифференцируема по t при t£
6[0, Т] удовлетворяет уравнению
_ dU(t х) = Jnf у ^ ^ ^ ^ ^ ^ ^ ^
ut и
+ J [U (t, х') — U (t, х)] л (t, х, и, dx') (20)
и граничному условию U(T,x)=0. При этом условии уравнение
(20) имеет единственное решение. Уравнение (20) называется
уравнением Беллмана.
Доказательство. Соотношение для U(T,x) вытекает
из (19). Пусть 0<.t<.t-\-h<.T. Пусть (g(s); r)(s)) — пара про-
цессов, построенных по некоторому ступенчатому управлению
на [t, 71, £,(t)=x. Обозначим через т момент первого скачка
процесса g(s) после момента t. Тогда на промежутке [t, х] уп-
равление r)(s) неслучайно, обозначим его u(s). По определе-
нию функций K(s,х, и) я n(s,x,u,A)
P{T>s} = expJ — ^k(s', х, u(s'))ds'^,
Р{1 (r)eA\x = s} = n(s, х, u(s), A).
Поэтому
T rf+h i s -.
M jj f(s,l (s), ц (s)) ds = m[j exp J - J A, (s', x, и (s')) aVj X
Г 5
X A, (s, x, и (s)) ^ я (s, x, и (s); dx') / (s', x, и (s')) ds' +
+ M ^ / (s", I (s"), Tf (s")) ds" 11 (s) =
+ Р{Т>* + /г} ^ /(5, X, и (s))ds +
- *
+ М^$ I (*). Л («))^| =
Из этого соотношения получаем, выбирая подходящее управле-
ние на интервалах [^, т] и [т, Т],
и (I, х)= ^ % (5, х, и (в)) ^ я (5, х, «(в), йх')и (5, x')dsA-
+ Р{г>^ + /г}
+ о(А)
(величина o(/i) равномерна по /). Отсюда вытекает, что
| £/(/,*) — U(t-\-h, х) | ^Cih, где ci — некоторая постоянная. Ис-
пользуя непрерывность Я,, / и я по s, получаем
t + h
U (t,x)= Ц K(t, х,и (s)) ^n(t, х, и (s), dx') U (t, х') ds А-
t+h
+ II— jj % (t, x, и(s))ds J jj /(*, a(s))rfs +
+ + x)]+o(A),
< + A
+ ^ K(t, x, и (s)) я (t, x, и (s), dx')(U (t, x') —
-U(t,x))ds + o{h). (21)
Очевидно, что для минимизации и^,х) нужно минимизировать
правую часть, а ее нижняя грань совпадает с
/мп1[/(0 х, и)-\-Ку, х,и){л^, х, а, dx')[U х') — И (0 х)]]+
и V
Значит,
иу. х)-иа+и. х)=ы у ^ Х; и) + к ^ х^и^л ^ Хг М) ах,) х
Х(и (*, х')-и х)\ + °-±£-.
Отсюда получаем уравнение (20).
15* 227
Для доказательства единственности перепишем уравнение
(20) в виде
т
U (t, xf= j inf [f(s, x, u)A-K(t, x, u)^n(s, x, u, dx')X
t
X[U(s, x') — U(s, x)]]ds.
Если U (t, x) —второе решение этого уравнения, то
т
sup % (t, х, и) ^ я (s, х, и, dx') X
t "
X\U(s, x')—U(s, x') — U(s, x)-\-U(s, x)\ds,
T
sup\U(t, x) — U(t, x)\<2^ sup|f/(s, x)—U{s, x)\ds.
