Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
систематически использовать существование меры v в пространстве (Q, сШ),
заданной условиями задачи. Ряд понятий, определенных выше, при этом
следует подвергнуть естественной модификации. Так, можно считать, что
вероятностные меры Р(- \ й*) являются определенными и -измеримыми почти
всюду (с точностью до v-нулевых множеств). Также и решающие меры jus (• |
№) можно считать определенными с точностью до v-эквнвалентности. Далее,
условный минимум в формулах (8.12), (8.13) и др. естественно заменить на
существенный минимум (относительно v) (см. Приложение 2, вариант II).
Так, (8.12) примет вид
R (ю | и*кСУ'*'к) = vrai inf R (со | °[?к+хУ^к ).
Важно, что в варианте II при соответствующей модификации (при замене
равенств "всюду" на равенства "почти всюду" относительно v) сохраняют
свою справедливость все результаты, изложенные выше (§ 8.2).
В новом варианте теории также можно провести рассуждения, аналогичные
рассуждениям предыдущего пункта, и доказать существование е-оптимального
решения. В дополнение к этому теперь удобно рассматривать одно конкретное
специальное рандомизированное е-оптимальное решение, которое будет
указано ниже.
При доказательстве теоремы П.2.5 указывалось, что существует непустое
множество
Ак = {<¦>: inf / (со) (¦ [ck, ck+i)} П : / И С ^+i)} ? 5^,
172
¦если Tfe= {со : inf /((c)) ? [ ck, ck+1)} непусто (ch+l-ch<e). Фик-о>1Л
¦сация любой вероятностной меры, сосредоточенной на Ah, дает е-
о;птимальную решающую меру. Конкретный выбор этой меры, однако, не
указывается. В новом варианте гарантируется, что аналогичное множество
имеет ненулевую меру:
v(4)>0, если v (Гй) > О
(4 = {(c):/((c)) ? [ck, с*+1), vrai inf/((c)) ? [ck, c*+i)}).
"1^-1
Поэтому в качестве решающей меры р. (Л ( 1 ^'1) теперь можно
выбрать меру:
(х(Л|^1)=(*(Л|а(...,Г1,Га, ...))= ^^- = v(A |4)
при (c)? Г*.
Очевидно, что данная специальная мера относится к числу подходящих мер,
так как
О < f/((c)'m(d(c)' |^\) -vrai inf /((c)') < е
. J "ИЛ
в соответствии с теоремами П.2.8 и П.2.9.
Подобный специальный выбор следует произвести на каждом этапе
рекуррентных преобразований.
Пусть индекс ф(^) ступенчатый со скачками в точках a = t0<ti< ..., <tN и
пусть точки ch / = ..., 1, 2, ... (cj+1>Cj)
осуществляют ео-разбиение действительной оси ( е°= 4+т) •
Согласно сказанному выше выбираем следующую решающую меру.
Здесь
ANk={u-.R(Uby9N) 6 1ск, ^+i)} П {<*-R(UtNTN) а*к, Аж)}. Далее, ?((c)) = kN
((c)) = {k : /?((c) \UiNV4N) i [ск, ck+x)}.
173
Легко видеть, что в силу теорем П.2.8, П.2.9 для указанной решающей меры
О < R6 (11}ЫУ*Ы) - R (UtNyVN) < е"
и, следовательно,
О < R? {UtNy^N~x) - R {UtNTN-') < е". (8.18)
Перейдем к следующему этапу рекуррентных преобразований. Положим
(А( 11UtN-'T-!-1) = V (AI UiN- 1УЧЫ- 1, Л?Й>.
где, как и раньше,
Л (CD) (СО) = {k : R{UtN-xy*N-1) ( [ck, ck+i)}\
= {со : R {UtNy*N~x) ( [ck, <*+,)} П П с,+1)1-
Поскольку
о < j/? (utNy'tN-x) (^со [ utN^y'iN~i)-r mtN-xy^N~x)<4,
то в силу (8.18)
О < j Rb (UtN y,lN~') p^_, {d<*\UtN~x Ут~1) -
- R(UiN~ly'fN-x)<2e 0.
Продолжая описанный процесс, получим решение б, образованное решающими
мерами
р'{+1 (А ЖЧУ^) = v (А \ПЧУ\ 4 (ffl)),
4 = {со -.RiU^y*1) ( Cfc+О} П К- Я {^У\0 ( [с* <*+,)}"
с = 0, 1, ..
Легко понять, что для этого решения
0</?"-/?<(А+ 1)е0 = е,
т. е. оно является е-оптимальным.
174
Нетрудно построить также е-оптимальное решение для неступенчатого
индекса, рассматривая его ступенчатую аппроксимацию фл\ При этом, чтобы
получить в точности оптимальное решение, следует совершить двойной
предельный переход N-*-oo, е-Д).
§ 8.4. ПОЛУГРУППА ПРЕОБРАЗОВАНИИ, СООТВЕТСТВУЮЩАЯ РЕШЕНИЮ. РЕГУЛЯРНОСТЬ
1. Решающие меры ц((А | Us<yопределяют полугруппу преобразований Tst в
подпространствах Gt банахового пространства Gf,"^-измеримых co-функций.
Банахово пространство-Gb определено при помощи естественных линейных
операций и нормы
II/11 = inf /(со), fiGb (8.19)
СО
в варианте I и
||/|| = vrai inf / (со) (относительно v) (8.20)
СО
в варианте II. Подпространства Gf(CGb), определенные как множества -
измеримых функций, сами образуют банаховы пространства.
Для фиксированного индекса ф и решения б преобразование Tst определяется
формулой
TJ = J/HQ ( W У* {t> | Usy^s)) i Gs, /? Gt. (8.21)
Это преобразование можно рассматривать как условное математическое
ожидание
TJ (со) = MQ [/ (со) | (8.22)
соответствующее единой мере Q(A), АбсШ (см. пункт 4 § 8.1). Взяв
известную формулу П.1.А (Приложение 1) для повторного математического
ожидания
MQ [/1 = mq {mq [/1 и*уф(5)] I игум),
где
r<s<t, f?Gt, MQ[f{Usy<*<sntGs, согласно (8.22) получаем
Trtf = TrsTJiGr (8.23)
TJiGs).
При помощи преобразования (8.21) легко записать рекуррентные формулы для
условных рисков:
175
R6 (Usy<m) = TstRs (Wytm)\
R6 = TaiR6 (WM) = TobRb (Uby^b)).
2. Ограничимся теперь рассмотрением оптимальных и близких к'ним
решений. Будем предполагать, что индекс <р(t) имеет ограниченную
производную по t во всех точках интервала Т, кроме (самое большее)
