Курс теории случайных процессов - Вентцель А.Д.
Скачать (прямая ссылка):
3. Рассмотрим примеры марковских процессов (а также немарковских) .
а) Предлагается решить следующие задачи. Полезно, решая их, прежде чем искать строгое рассуждение, постараться наглядно представить себе, действительно ли в рассматриваемых случайных процессах будущее зависит от прошлого только через положение процесса в настоящий момент времени.
Задача 3. Пусть wt, t 0, wо = х0, — винеровский процесс, выходящий из точки Хо. Докажите, что этот процесс — марковский, найдите его переходную функцию.
Задача 4. Пусть wt, t ^ 0, — винеровский процесс, выходящий из нуля; определим случайный процесс = W-t, —оо < t ^ 0. Найдите переходную функцию этого марковского процесса.
Этот пример подчеркивает, что описание марковского процесса с помощью переходной функции существенно несимметрично относительно времени.
Задача 5. Пусть |i, — независимые случай-
ные величины с одной и той же плотностью распределения р(х), положительной на всей прямой. Укажите, являются ли следующие случайные последовательности цепями Маркова:
а) It, |г, • • In, • -
б) So, Si, S2...S„, ..., где So = 0, Si = |i, S2 = |i + 1г> • • •
• • •. S„ = |i + ... + In, • • •">
186
в) Sj-, Sf, S2+--, S +....где S+ = О при S„ < 0, S+ = S„
при S„ ^ 0;
r) rio, ti,, ri2, ..тгде iq „ = max (S0, 5,.....S„);
Д) (So, rio), (Si, rii), ..., (Sa, T]n), ... (в качестве фазового пространства берется Ri X [0, °о)).
Для тех, которые окажутся цепями Маркова, укажите переходные вероятности «за один шаг», т. е. Р(п, х, ri + 1, Г).
Задача 6. Для таких же |i, .....|л, ... построим слу-
чайный процесс с непрерывным временем: Т = [0, сю), положив St = Sk- (k + 1 — I) + S*+1- (f — k) для k ^ i ^ k + 1. Будет ли этот случайный процесс марковским?
Задача 7. Докажите, что процессы примеров 2—5, 7— 9, § 1.2 — марковские; найдите соответствующие переходные
функции.
Задача 8. Винеровский процесс с отражением. Докажите, что |аи/|, I ^ 0, — марковский процесс, где wt — винеровский процесс, выходящий из х0. Найдите переходную функцию.
б) Под схему марковского процесса хорошо подходят некоторые процессы, происходящие в реальном мире.
Например, так называемое броуновское движение—движение маленькой частицы в жидкости под влиянием ударов молекул. В качестве фазового пространства здесь берется (R3, Я3), и если инерция частицы пренебрежимо мала, то описание блуждания частицы при помощи марковского процесса оказывается достаточно точным: будущее движение частицы зависит только от положения, которое она занимает в настоящее время, и не зависит от того, как и откуда частица туда пришла, потому что удары молекул, которые ей предстоит испытать,—это удары не тех молекул, что были до того, или тех же самых, но совершенно изменивших свое движение в результате многочисленных столкновений.
Если нельзя не учитывать инерцию частицы (например, при рассмотрении движения одной молекулы в разреженном газе), то мы уже не можем считать изменение координат (|/, т)?<) протекающим в соответствии с марковским процессом: будущее движение зависит также от значения скорости i\t, Zt) в настоящий момент времени. Но если мы рассмотрим другое фазовое пространство, а именно (R6, й?6), т. е. будем фиксировать положение частицы и значение ее скорости, то марковское приближение хорошо подходит к этому случаю.
Пока что мы не можем сказать ничего разумного о переходной функции броуновского движения.
в) Пусть теперь броуновская частица движется не в жидкости, а в раскаленном газе, и в определенный момент она вспыхивает и сгорает. При помощи какого фазового пространства можно описывать такой процесс? Добавим к фазовому пространству R3 (или R6) одну дополнительную точку *, снабдим это пространство о-алгеброй а (Я3, {*}) и будем в нашей идеальной схеме считать, что частица вместо того, чтобы исчезать, попадает в состояние * и навсегда там остается. Естественно, при этом P(s, *, t, Г) = 6* (Г).
При помощи введения такого дополнительного состояния —¦ «загробного мира» — удается избежать рассмотрения марковских процессов, определенных лишь до какого-то случайного момента времени (см., например, задачу 2 § 8.1).
187
В книгах Дынкина (1959, 1963) приняты другие определения, согласно которым марковский процесс может быть определен лишь до некоторого случайного момента, когда он обрывается; это усложняет определения, но позволяет обойтись без введения дополнительного состояния. При такой концепции процессы, обрывающиеся с положительной вероятностью, называются неконсервативными.
г) Марковские процессы возникают также, например, в задачах теории массового обслуживания. Пусть, скажем, у нас есть система с одним каналом обслуживания, с отказами (т. е. если заявка на обслуживание приходит, когда канал занят, она получает отказ). Предположим, что заявки на обслуживание приходят «совершенно хаотическим образом» (как говорят в теории массового обслуживания, заявки образуют простейший поток) и а — среднее число заявок, приходящих в единицу времени, а время обслуживания первой заявки, второй заявки и т. д. — случайные величины с одной и той же функцией распределения
