Динамика иерархических систем: эволюционное представление - Николис Дж.
Скачать (прямая ссылка):
условии, что мы наблюдали все предыдущие символы. Иначе говоря, если
источник информации хь х2, . . . задан, то неопределенность или энтропия
этого источника, обозначаемая S(xn), п- 1, 2, ... , или S(X),
определяется как
lim S (хп/хь х2, . . ., х"_,), (4.4.11)
оо
или
S (xi, х2, ..., хп) _
S(X)= lim
11->оо п
-S (Х[) Ч- S (x2/xi) -f- ... -р S (хп/х 1, ..., хд_]) ^ j21
п
Пусть для каждого состояния хк цепи Маркова xKW, хд(2), ¦ ¦ ¦
..., хк(пк) - это пк состояний, которые могут быть достигнуты
из хк за один шаг, т. е. состояния х,-, для которых P^i Ф 0.
Неопределенность состояния хк определим как пк
пк
SK = - ZPKlloS2PKl. (4.4.13)
1=1
Неопределенность цепи Маркова вычисляется как среднее от Sk, а именно
S{X) = tlPKSK, (4.4.14)
К-1
где п - полное число состояний цепи, Рк - вероятность найти цепь в
(стационарном) состоянии К¦ Значения Рк (их ровно п) мы вычисляем из
первых ti--1 уравнений линейной системы
и условия
Pi=ZPjPu (4.4.15)
l-i
Е^ = 1. (4.4.16)
i = 1
Элементы теории информации и кодирования
185-
Мы видим, что в цепи Маркова вероятности перехода определяют вероятности
стационарных состояний - то, что до сих пор* мы называли "априорными"
вероятностями.
4.5. Конкретные примеры некоторых полезных каналов и вычисление их
пропускной способности
4.5.1. Пропускная способность равномерно турбулентного канала
Прежде чем мы перейдем к вычислению пропускной способности некоторых
типичных и полезных линий связи, удобно проследить за тем, как изменяется
под действием медленных случайных вариаций параметров пропускная
способность при наличии аддитивного белого гауссовского шума (формула
Шеннона). Точнее говоря, в выражение (4.1.50)
С = Г logo (l +|r),
задающее пропускную способность канала связи, мы будем вводить медленные
вариации мощности сигнала S и/или мощности шума N. Эти вариации
обусловлены медленной эволюцией показателя преломления среды, в которой
происходит передача информации, и, в частности, вариациями температуры.
По сравнению с периодом несущей электромагнитной волны эти флуктуации
можно считать медленными.
Следуя Сифорову [4.6], положим а = S/Sm, где Sm - средняя мощность
сигнала по достаточно большому интервалу времени, и р = Sm/N. Тогда
пропускную способность канала можно записать в виде
С = W log2 (1 + ар). (4.5.1)
В отсутствие медленных вариаций пропускная способность канала связи равна
C0 = W log2 (1 + Р). (4.5.2)
Отношение пропускных способностей есть величина
*-•?- та <4-5-з>
Пусть р(х)-функция плотности вероятности отношения х, которая, как видно
из (4.5.3), некоторым образом зависит от случайной переменной сс.
Среднее значение отношения х равно отношению средней скорости Ст передачи
информации по данному каналу с случайно изменяющимися параметрами к
пропускной способности С о канала, имеющего не изменяющиеся параметры и
такую же
186
Глава 4
среднюю мощность сигнала. Это отношение представимо в виде
оо
Т1 = ^ хр (х) dx - F (Р). (4.5.4)
о
Такой же подход остается применимым и к каналам связи, в которых
передаваемый сигнал расходится по большому числу путей. Распределение
вероятности амплитуды сигнала на принимающем конце может быть вычислено
по функции плотности вероятности амплитуды большого числа фазовых
векторов с одинаковой амплитудой и случайно флуктуирующими фазами в
интервале [-л, +л]. Если ф. п. в. для каждой фазы постоянна и равна 1/2я
в указанном интервале, то распределение вероятности амплитуды сигнала на
выходе канала следует так называемому распределению Рэлея [4.2]:
Р (е) = еехр (- е2/2), (4.5.5)
где е = Ег/Е0, Ег - случайная амплитуда поля сигнала, Е0 - медиана этого
поля.
Но величина е2/2 равна а, отношению случайной мощности сигнала к его
средней мощности. Из элементарной теории вероятности [см. также
соотношение (4.5.6)] известно, что ф. п. в. для а имеет вид q{a)=e~a.
Задача теперь состоит в том, чтобы исследовать выражение для р(х),
используя ф. п. в. для а, и соотношение (4.5.3). Итак,
Р (*) = Lf fuH • <4-5-6)
и ' L df (а)!da Ja=e. (xj
где v(x)-функция, обратная функции f(a).
Из соотношения (4.5.3) следует, что
¦&(л:) = у[е*1пб+Р)-1]. (4.5.7)
Подставляя в (4.5.6) выражение для q(a), а также f(a) из
(4.5.3), получаем
р(х)= '"O+JleWfri +p)xg-("+P)x/3] (4.5.8)
и, используя соотношения (4.5.4), приходим, наконец, к
оо
^=И1 + Р)е1/Л +ру e~o+ti)xhdx. (4.5.9)
С о р J
о
После замены переменной у = (1 + р)*/Р и интегрирования соотношение
(4.5.9) принимает вид
оо
1/р
Элементы теории информации и кодирования
187
Значения интеграла
A-S-
1/Р
о-У
¦dy
могут быть найдены численными методами. Окончательно мы приходим к
формуле
п = -
Ле'/Р
1п(1 + р)
(4.5.11)
(4.5.12)
Построив график функции г) = /О), мы обнаружим, что эта функция имеет
единственный минимум при |3 ~ 5, равный. ~83. Как показывают наши
вычисления, пропускная способность канала шенноновского типа никогда не
убывает бо- >
лее чем на 17 % от того значения, которое она имеет в отсутствие
