Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
следует эргодичность.
Таким образом, имеют место следующие импликации:
/ неразложимость \
/ неразложимость\ I возвратность j /эргодичЛ
\ d- 1 у 1 положительность j \ ность ) ' '
\ d = 1 /
Можно доказать, однако, больше.
Теорема 2. В случае конечной марковской цепи
j неразложимость \
/неразиожимостьХ ( возвратность \ / эргодичЛ
\ d = 1 / \ положительность I I ность / ' '
\ d=l 1
Доказательство. Достаточно доказать импликацию
/ неразложимость \
(эргодичность) => возвратность \ х г ' \ положительность /
\ d=l /
Неразложимость следует из (26). Что же касается апериодичности,
возвратности и положительности, то они справедливы в более общей ситуации
(достаточно лишь существования предельного распределения), что
доказывается в теореме 2 § 4.
5. Задачи.
1. Рассмотрим неразложимую цепь с множеством состояний 0, 1, 2, ... Для
того чтобы она была невозвратной, необходимо и достаточно, чтобы система
уравнений и/-^ щрц, / = 0, 1, ...,
i
имела ограниченное решение такое, что щ^с, t = 0, 1, ...
2. Для того чтобы неразложимая цепь со множеством состояний 0, 1, ...
была возвратной, достаточно существования такой последовательности (и0,
uv ...) с uL->оо, i->оо, чтобы для всех
i
3. Для того чтобы неразложимая цепь с состояниями 0, 1, ... была
возвратной и положительной, необходимо и достаточно,
548
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
чтобы система уравнений Ц/ = 2 и'Ри> 1 = 0*' 1. • • • имела не тожде-
I
ственно равное нулю решение, для которого j <1 go.
4. Рассматривается марковская цепь с состояниями 0, 1, ... и
переходными вероятностями
Poo~ro> Рт= Ро S> 0>
Рц =
Pi >0, } =
ri Ss 0, / =
Pi >0, i =
l,
0
в остальных случаях.
Пусть Ро = 1, Рт -утверждений:
. Qi - - - Qm Pi-- - Pm
. Доказать справедливость следующих
цепь возвратна с=> рт = оо, цепь невозвратна с=> рт < оо, цепь
положительная с=> У :-1- < оо,
цепь нулевая с=>
PmPrt Pm - ОО.
PmPtn
¦¦ СО.
5. Показать, что
sup pip ¦¦
fik Si fijfit!,
00
-fi/^ Цр\Т-
6. Показать, что для любой марковской цепи со счетным множеством
состояний всегда существуют пределы для р^ в смысле Чезаро:
lim- У =
" п ' "/ Ц/ k - 1
7. Рассматривается марковская цепь ?"> ... с ЕА+1 = (Ы++
-Рла+п k^O, где %, Ti2, ... - последовательность независимых одинаково
распределенных случайных величин с Р (rik - j) - pjy j = О, 1, ...
Выпишите матрицу переходных вероятностей и покажите, что если ро>0, Po +
Pi<l, то цепь возвратна тогда и только тогда, когда ^kpk^l.
k
§ 4. ПРЕДЕЛЬНЫЕ И СТАЦИОНАРНЫЕ РАСПРЕДЕЛЕНИЯ
549
§ 4. О существовании предельных и стационарных распределений
1. Начнем с некоторых необходимых условий существования стационарных
распределений.
Теорема 1. Пусть марковская цепь со счетным множеством состояний Е = {\,
2, ...} и матрицей переходных вероятностей р = | pif j такова, что для
всех i и / существуют пределы
не зависящие от i.
Тогда
a) 2я/^1. 2я'Л/ = я/;
/ '
b) или все я;-- 0, или же ^п/ = 1;
c) если все лу = 0, то стационарного распределения не существует; если же
^ я/= 1, то П = (лц л2> ¦••) образует единствен-
\\mp\f =зтл
П
ное стационарное распределение.
Доказательство. По лемме Фату
2 я, = 2 lim р'"> ^ lim 2 P\f = Ь / - /
/ Iй Г) 1
/ f ' п I
Далее,
т. е. для любого у
2 Л<А'/ ^ л/*
Предположим, что для некоторого /0
2 л'Д/о <~' л/"-
Тогда
2 л/ > 2 (2 я<р</) = 2 л" 2 ру = 2
I I \ ' I ' i t
Полученное противоречие доказывает, что
2 niPi/ = л/
(I)
i
для любых /.
550 гл. VIII. МАРКОВСКИЕ ЦЕПИ
Из (1) следует, что
2 51"'Р</) = ni-
i
Поэтому
л, = Игл 2 лiplf = 2 л,- lim p\f = /^ лЛ щ,
п i " п \ t J
т. е. для всех /
л,-j = 0,
откуда следует утверждение Ь).
Пусть теперь (Q = (<7i, q2, ...) -какое-то стационарное распределение.
Тогда, поскольку ^ qip\f' = qf и, значит, ^ q^-q^ т. е.
i i
nf~qf для всех /, то это стационарное распределение должно совпадать с П
-(яи л2, Поэтому, если все яу = 0, то стационарного распределения нет.
Если же 2л/ = 1, то 1П = (Я1> я2, ••¦)
/
будет единственным стационарным распределением.
Теорема доказана.
Сформулируем и докажем основной результат о существовании единственного
стационарного распределения.
Теорема 2. Для марковских цепей со счетным множеством состояний
единственное стационарное распределение существует тогда и только тогда,
когда во множестве состояний существует в точности один положительный
возвратный класс (существенных сообщающихся состояний).
Доказательство. Обозначим через N число положительных возвратных классов.
Пусть N = 0. Тогда все состояния невозвратные или возвратные нулевые и в
силу (3.10) и (3.20) lim = 0 для любых i и /.
П
Следовательно, по теореме 1 стационарного распределения не существует.
Пусть N = 1 и С - единственный положительный возвратный класс. Если d(C)
= 1, то, согласно (3.8),
piu ^ ф; > °* г'> /еС*
Если ]фС, то / невозвратно и в силу (3.7) для всех i plf-> 0, п-> оо.
Положим
/ 7Г>0' /еС" й! = \ "V
I 0, j ф С.
л,
§ 4. ПРЕДЕЛЬНЫЕ И СТАЦИОНАРНЫЕ РАСПРЕДЕЛЕНИЯ 551
Тогда по теореме 1 набор (Q = (<7i, ¦•¦) образует единственное
