Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
Большой практический интерес представляет тот случай, когда конечный
момент b является отдаленным и когда специальный выбор заключительных
штрафбЬ (10.47) слабо сказывается. Для этого длительность b - t должна
значительно превосходить другие постоянные времени задачи:
&_*"- + - , b-t^N.
[X v
При выполнении этих условий можно рассматривать стационарное решение S°
(wi) уравнения (10.44), для которого
Рассуждая формально, мы при выборе некоторой заключительной функции fo
(w\) (€Д°) предполагаем, что существует единственное решение St (W\)
уравнения (10.44) с описанными условиями и, кроме того, существует предел
limS^ffijj = S°(t?)1). (10.48)
Ь-* оо
Тогда эта предельная функция обязана удовлетворять уравнению
~ wfal + (vw2 - [шД + Ащ + A2w2 = 0 (10.49)
/V * dwi
242
в области продолжения, где S0(ffl1)<s'(!ii1). На границе Г она
удовлетворяет условиям
S"(a"1)=s'(a)1); (10.50)
dwi uWi
аналогичным (10.45), (10.46).
В уравнении (10.49) запишем A1w1 + A2w2. в форме D + D' (vw2 - р.^),
в = A.-dl_ ; в = --+ ^ (10.51)
р + V (J, + V
и введем функцию
еФМ = (( Д)еХр{-У('-^ + JLU, (Ю.52) \ Щ J ( 2 Vaii щ]У
такую, что
d(f (шх) N vw2 - цшх
dwt 2 oijtizl
Тогда (10.49) примет вид
^ + JSL^ + D,_i!L + J__!JD_s=0>
<1щ dwi dwx dWl 2 щщ
Интегрируя это уравнение, имеем
W1
dS°{w х) n, 1 \т ri^-alwA С
= -D' -NDe-<f<wd Г ei>") u C,e-fW.
2 J g2(l-g)2
dwi
v
H+v
(10.53)
Повторное интегрирование дает
So (wL) = -D'wx - ~ NDfx (wx) + CJt (wx) + C2. (10.54)
Здесь
Wt W
fi (wi) - f dwe~4 {m) Г e'f <"> ----------------------------- ;
1 1 J J 52 (1 ~ g)2
V V
M+v M+v (10.55)
- l
/а (Щ) = J e~Mw> dw;
V
H+v
Ci> Cz - постоянные интегрирования.
16* 243
В точках границы Г согласно (10.50) график функции (10.54) касается линии
S = s' (о^), иначе говоря, линия
S - s' (WJ + D'w-l + NDfx (wt) = F (аф) ПО.56) касается линии S - CJ2
(шх) + Ca:
F (wj) = CJ2 (Wj) + C2; (wx) = (Wj) при иг, ? Г.
dwi dwi
Удобно ввести новую переменную v = f2(w\) через ф обозначим обратную
функцию: w 1 = ф(ц)). Тогда линия
CJ2 (Wi) + С2 = СiV + С2 обратится в прямую. Согласно сказанному выше она
должна касаться в точках a>i€r линии /''(ф(у)). Отсюда вытекает
эффективный способ отыскания точек границы Г: нужно построить графически
функцию F (ф (у)) и, используя произвольность постоянных С\, С2, провести
прямую, касающуюся построенной линии в двух точках. Если v' и v" две
такие точки касания и если на всем интервале v' < v < v" справедливо
неравенство
^(Ф (^)) > + Сц, т/е. 5' (щ) > 5° (wj), при w\ = ф (v') <
<wt<w"= ф (</'),
тогда этот интервал будет являться областью продолжения, а точки v', v''
(или w\, wj') будут составлять границу области остановки.
Предположим, что D > 0. Это соответствует тому практически наиболее
интересному случаю, когда продолжение наблюдения требует некоторых
затрат. Качественный анализ графика Е(ф(о)) показывает, что в этом случае
всегда имеется интервал продолжения наблюдений, если точка излома функции
s' (w\) попадает на интервал (0,1).
В некоторых случаях интервал продолжения наблюдений не является
ограниченным с обеих сторон точками остановки.
Он может примыкать к точке W\ = 0 (т. е. совпадать с интервалом [0, w j))
или к точке W\=4 (совпадать с интервалом (w [, 1]).
Тогда вместо условий (10.50) в граничной точке Ш1=0 (или (r)i=T) следует
воспользоваться тривиальным условием
< оо при wx = 0 (или 1). (10.57)
dwi
Оно определяет постоянную Ci в выражении (10.53) и
(10.54):
(для определенности в (10.57) выбрана точка Щ1 = 0), так что
wt
dS° W ?)' L ДГ?)е-Ф((r)1> Г ---___
dwi 2 J ga(i-g)2
о
При описанном ранее проведении прямой, касающейся линии F (ф (у)), наклон
этой прямой теперь является фиксированным. Он совпадает согласно (10.56),
(10.55), (10.58), с асимптотическим наклоном линии F (ф (у)):
wx
-- = = - ND Г в*(r)------------^-----|- о (1) -*
dv dwx 2 J (1 - g)a
у
M+V
при v->-оо (т. е. при Щ]->-0), так как еЧ>(^~ h D'^ =о(1).
Параллельным переносом прямой добиваемся ее касания с линией F (ф (и)).
Это определяет точку касания у". Если F (ф (у) ) > Сiv + С2 при v < v"
(т. е. при w\ <w'[ = ф (у") ), то интервал [0, w [ ) является интервалом
продолжения наблюдения. Аналогично строится интервал {w[, 0], если он
имеется.
При фиксированных значениях постоянных удается найти лишь те или иные
области продолжения из описанных типов. В некоторых частных случаях может
оказаться, что областей продолжения не существует. Это означает, что при
данных значениях постоянных задача поставлена некорректно и предела
(10.48) не существует.
Выше предполагалось, что р > 0, v > 0, однако полученные выше формулы
применимы и в том случае, когда одна из этих величин или обе равны нулю.
В этих случаях рассматриваемая задача переходит в более простые задачи,
некоторые из которых рассмотрены в Дополнении.
Глава 11
ВЫБОР ОПТИМАЛЬНОГО НАБЛЮДЕНИЯ И ОПТИМАЛЬНОГО УПРАВЛЕНИЯ ПРОЦЕССОМ
В этой главе будут рассмотрены более общие задачи, чем в двух предыдущих
