Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
или
RqN {Ч?кУ^к) =-¦ max min М [Rl^('Utk+iy'i'k+i)!У'(к\ alU^yVk
<л\и'ки'кк+1У^к
(при этом RyN > R^n > RyN), то в пределе ф^-мр могут получиться
совпадающие результаты: Rq = Rq = Rq . Конечно, не все случаи, по-
видимому, являются такими, и иногда даже после перехода к непрерывному
индексу рандомизация может сохранить свою существенность.
Риски, определенные посредством рекуррентных соотношений с операциями
min М[ max Rt(* ^+1уч+1) | %?^к+1У^],
чи'кУЧ e>\UtMttk+iy'fk+l
- Xk
являются мажорирующихми для рисков непрерывного индекса. Аналогично
операции
max М[ min Rvn (у!к+'УЧк+1) \ ф^к+]У'^] ^Uhy^k щиШ\к+1УЧк+^
k
задают минорирующие риски. Эти риски могут быть использованы для
построения обобщения теории § 8.2, 8.3 на игровой случай.
2. Менее важным для приложений является обобщение теории на случай
неантагонистических игр нескольких игроков. В такой обобщенной теории,
конечно, остаются все те трудности, которые свойственны элементарной
теории неантагонистических игр. Сформулируем общую постановку задачи:
имеются п игроков и п функций штрафа: i =
Любой t-тый игрок заинтересован минимизировать свой риск
RU) = MqC^,
имея при выборе своего управления и(,) в распоряжении в каждый момент
времени t свои информационные данные I щ.
196
Требования, чтобы эти данные не убывали с течением времени, теперь, по-
видимому, уже недостаточно для построения плодотворной теории. Поэтому
предположим, что информационные данные всех игроков совпадают:
((1) =•=•..= l(n) = /* = (иа, у(r)(о)),
ut == ("('), .. . , uW).
Для ступенчатого индекса ф (t) решение определяется набором решающих мер
рЛ+1 (du'k+L I фУ4*).
k k I
На каждом k-м этапе находится оптимальная решающая мера как функция от п
условных рисков:
RU) (Ф+1УЧк)' t = I л,
именно
Ф+1 (• I иь"у'ч) = ф \Ф т'к+1У'1к1. • •, rw mtk+iyiPk)} •
* (8.69)
Соответствующий алгоритм подбирается из каких-либо соображений на уровне
элементарной (одношаговой) теории игр. Выбранная решающая мера определяет
условные математические ожидания
мР {Мц [?w (и'к+1У'к) I ФУЧ\1 ФУ^1}-
Если имеется перераспределение ресурсов (потерь) между игроками, то это
можно учесть, определив, например, условные риски в момент tk формулой
rV) т("Уч) = у yи Мр [rU) у4) IФ п. (8-70)
/
Следовательно, мы имеем рекуррентное преобразование
я<'> (^+1 уЧ) я<">{^уЧ)
-* Rw (ФУ^-1), • • •. Rin) (ФУ**-1)
(напоминаем, что и^У^11-1 d и'к+1 У^к). Явный вид этого преобразования и
само понятие оптимальности, конечно, зависят от принятого принципа
согласования интересов. Имеющиеся в этом отношении трудности относятся к
одношаговой теории игр. Если, однако, этот принцип зафиксирован, то
алгоритмы (8.69), (8.70) им определены. Следовательно, можно вычислить
окончательные риски R(l) {<1СУ'9{'а)) = RU), а также совершить предельный
переход от ступенчатого индекса к непрерывному.
Комбинация решающих мер (8.69) и вероятностей Р(-| %У), заданных в
условии задачи, определяет, как и раньше, полную меру Q оптимально
управляемого процесса.
Глава 9
ОПТИМАЛЬНАЯ НЕЛИНЕЙНАЯ ФИЛЬТРАЦИЯ
Излагаемые здесь методы синтеза оптимальных фильтрующих систем
основываются на теории условных марковских процессов. Они были
разработаны автором применительно к различным практическим задачам {6, 7,
10-12]. Кроме данных работ следует упомянуть относящиеся к этому же
направлению работы Большакова и Репина [1]. В них основным приемом
является линеаризация выражений для логарифма апостериорной вероятности
или отношения правдоподобия. Полученные линейные интегральные уравнения
решаются теми же методами, как и в теории линейной фильтрации. Поэтому
методы Большакова и Репина стоят, так сказать, на пол-пути между методами
линейной и нелинейной фильтрации. У нас задачи решения интегральных
уравнений для синтеза линейной части фильтрующей системы не возникает.
Если иметь в виду практические приложения теории, то необходимо отметить
одно обстоятельство, не нашедшее отражение в монографии. Оно связано с
дополнительными приближениями. Дело в том, что число переменных,
заменяющих плотность распределения, зачастую, строго говоря, бесконечно,
но не все они одинаково существенны. Для практической реализации
уравнений важно, чтобы число переменных было невелико. Поэтому встает
задача, выбрать из переменных наиболее важные и отбросить остальные,
пойдя на ухудшение качества фильтрации. Это ухудшение, если оно невелико,
окупится упрощением конструкции. Как видно из сказанного, представляет
интерес вопрос о величине этого ухудшения, вопрос о том, какие переменные
следует выбрать, чтобы ухудшение было минимальным. Указанные вопросы в
настоящее время мало исследованы.
Значительное место мы уделим рассмотрению соотношений между теориями
нелинейной оптимальной фильтрации и линейной.
198
Проблема нелинейной оптимальной фильтрации является естественным
логическим продолжением и развитием проблемы линейной фильтрации (в
широком смысле). Как известно, эта исторически более ранняя классическая
