Введение в теорию случайных процессов - Гихман И.И.
Скачать (прямая ссылка):
а из Kd-i — только в Ко- При этом, если i<^Kr, j^Ks, то найдется такое N — N (г, j), что pnd+s~r у) > о при п > N.
Доказательство. Пусть Kq— множество всех состояний /, для которых хотя бы при одном положительном целом k имеем P(kd) (*\ j) > 0, где i — произвольно выбранное состояние из К. Тогда i <= Kq. Так как i и j сообщаются, то найдется такое т, что р(т) (/,/)> 0. Число т кратно d. Действительно, р^ы+т)
^ р(Ы) (г, /) р{т) (j, г) > 0, и, следовательно, kd-\- т делится на d. Так как т делится на d, то если вместо состояния г в определении Ко взять любое /, для которого p(kd)(i, j)> 0 при некотором к, то Кй не изменится. Теперь определим К\ как
множество тех /, j е К, для которых ? р (г, j) >0, К<, — как
left
множество всех тех /, для которых X Р (»', j) > 0, j е К, и т. д.
isK,
Из определения множества Ks вытекает: Krd+a^Ks при любых г и s. С другой стороны, если / е Ks, то найдутся такие /0, ju . . .
• ¦ is = j, что /геКг, r^s,Hp (jr~u /V) > 0, т. е. p{s~r)(jrj) > 0. Верно и обратное: если p(s~r)(/r> /) >0, jr е Kr, j^-К, то j e Ks {из /V —*¦ jr+i, jr+\ j и jr ¦*-*¦ j следует /,+1 «-> jr). Теперь убедимся, что классы Кг и Ks, 0 ^.r<s<d, не имеют общих элементов. Действительно, пусть j^Kr, j^Ks- Тогда найдутся Такие г'] и г2 е Ко, для которых р<г) (г'ь /) > 0 и p(s) (г2, Л > 0. Так как г2 и j сообщаются, то р(т) (/, г2) > 0 для некоторого т. Следовательно, p(m+s)(*2> г'2) ^ P{s) (/, j) р{т) {j, г'2) > 0; поэтому т + s делится на d, т. е. т = kd — s, где s — некоторое целое
202
СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
[ГЛ. III
число. Но тогда
0<p^(iu j)pW(j, i2Xp{kd-s+r)(h, к),
а это, как было показано выше, невозможно, так как переходы из в i2, i\, i2 <= К0, возможны только за число шагов, кратное d. Далее, пусть i <= Кг и / е Ks• Найдется такое т, что р(т) (г, /) > 0. Тогда т имеет вид т = k0d + (s — г). С другой стороны, в силу теоремы 8 p{nd)(i, i) > 0 для всех и^По(г). Следовательно, j)^p‘nd4i, i) p{kod+s~r) {i, j) > О
при всех n > n0(i). И
Условимся множества Ко, Кь ..., Ка-i называть подклассами периодического класса сообщающихся состояний. Предельные теоремы для вероятностей перехода.
Теорема 10. Пусть p^Hi, j)—вероятности перехода неприводимой возвратной апериодической цепи Маркова. Обозначим через Шг среднее число шагов до первого возвращения в i-e состояние:
оо
Щ = Z rif^ (г, г).
П = \
Тогда для любого j
lim р'п){], = (12)
П~>оо irti
Доказательство. Пусть т0 — число шагов до первого возвращения в г-е состояние, ti — число шагов между вторым и первым возвращением в это состояние и т. д. В силу следствия теоремы 4 величины то, ть ..., тп, ... взаимно независимы, одинаково распределены и принимают целые значения, не меньшие единицы, причем
оо
Р {т* = и} == !(п) (г, г), Z !{п) (г, 0 = 1, МтА =
п=1
Рассмотрим процесс восстановления, в котором тп является длительностью п-ro восстановления. Роль величин рп и G (п) теперь играют /<")(/, г) и p(n)(i,i) соответственно. Так как цепь апериодическая, то в силу леммы 2 восстановление также апе-риодично.
Из теоремы 2 § 4 следует равенство
lim pW(i,i) = -±-,
П-> оо гп1
что является частным случаем (12) при j = i. Нетрудно перейти к общему случаю. Воспользовавшись формулой (4), получим
я - ? 1" о, о р'“-* (/, О, Г (/, О - Г(;-г> .
I;/*>(/. о »-¦
i ft=i
§ 6] ЦЕПИ МАРКОВА СО СЧЕТНЫМ числом состояний 203
гг
Замечая, что f<">(/, i)-> 0, ? fw{j, i)->l при n-> оо (в силу
fe = 1
неприводимости и возвратности цепи), и применяя лемму 1, получим равенство (12) в общем случае. ¦
Доказанную теорему часто называют эргодической теоремой для цепей Маркова.
Теорема 11. Если неприводимая возвратная цепь Маркова периодична с периодом d, то
lim p{nd) (г, i) — ~zr- (13)
П->оо rni
Если Ks — подклассы, введенные в теореме 9, и ie Kr, } ^ Ks, то
( , Z = s — г (modd),
lim p'nd + i){i, j) = \ mi (14)
n~*°° I 0, l=?s — r (modd).
Доказательство. Из леммы 2 следует, что период неприводимой цепи Маркова совпадает с периодом процесса восстановления, введенного при доказательстве предыдущей теоремы. Поэтому равенство (13) непосредственно вытекает из следствия теоремы 2 § 4. Из теоремы 9 имеем: p(nd+V(i,j) = 0 при i^Kr,
