Научная литература
booksshare.net -> Добавить материал -> Кибернетика -> Эшби У.Р. -> "Введение в кибернетику" -> 84

Введение в кибернетику - Эшби У.Р.

Эшби У.Р. Введение в кибернетику. Под редакцией В. А. УСПЕНСКОГО — М.: Издательство иностранной литературы, 1959.
Скачать (прямая ссылка): Vvedenie_v_kibernetiku.djvu
Предыдущая << 1 .. 78 79 80 81 82 83 < 84 > 85 86 87 88 89 90 .. 144 >> Следующая

(0,449 • 0,811+0,429 - 0,811+0,122.1,061) бита=0,842 бита.
Монета, если ее бросать повторно, образует последовательность с энтропией для каждого бросания, равной 1 биту. Следовательно, последовательность положений, занимаемых одним из насекомых с течением времени, не является столь же изменчивой \ как последовательность,
1 Здесь можно сделать замечания, аналогичные тем, которые уже делались в связи с употреблением термина «ограничение разнообразия» в § 9/10. Термин «разнообразие» употребляется теперь автором не в абсолютном смысле главы 7, а в новом, вероятностном
252 ГЛАВА 9. НЕПРЕКРАЩАЮЩАЯСЯ ПЕРЕДАЧА 9/12
образуемая бросаниями монеты, ибо 0,842 меньше, чем 1,00. Таким образом, введенная Шенноном мера позволяет сравнивать различные степени разнообразия.
Мы берем взвешенное среднее значение потому, что мы начинали с нахождения трех энтропии: 0,811, 0,811 и 1,061; из них нам нужно получить одну. Если бы они имели одно и то же значение, то мыг конечно, его бы и взяли; но они не одинаковы. Мы можем, однако, рассуждать так: когда система достигла равновесия, 45% насекомых находятся в состоянии В, 43%—в состоянии XV и 12% —в состоянии Р. Поскольку насекомые циркулируют между всеми тремя состояниями, такое распределение равносильно тому, что каждое насекомое проводит 45% своего времени в В, 43% в № и 12% в Р. Другими словами, 45% его переходов будет из В, 43%—из № и 12%—из. Р. Поэтому 45% его переходов будут иметь энтропию, или разнообразие, в 0,811; 43% —также 0,811; наконец, 12%—энтропию 1,061. Таким образом, переходы с энтропией 0,811 будут частыми (и значение 0,811 будет «весить» больше), а переходы с энтропией 1,061 будут редкими (и значение 1,061 будет «весить» меньше). Поэтому среднее значение взвешивается: значению 0,811 придается вес 88%, значению 1,061—вес
смысле. (В смысле главы 7 последовательности местоположений насекомого имеют даже большее разнообразие, чем последовательности, образуемые бросанием монеты.) Поясним, почему энтропия может действительно служить мерой разнообразия в вероятностном смысле. Обратимся для этого к заключительным строкам подстрочного примечания на стр. 248. Если для каждого п выбрать множество Мп, удовлетворяющее условию а), так чтобы оно содержало как можно меньше элементов, то, как можно убедиться путем некоторых расчетов, число тп элементов в Мп растет так же, как 2Нп, где И — энтропия рассматриваемой цепи Маркова (более точно, отношение *0??тм
Ип
стремится к I при я, стремящемся к бесконечности).
Таким образом, Нп приблизительно равно логарифмической мере разнообразия (в абсолютном смысле главы 7) множества Мп, Так как с подавляющей вероятностью векторы длины п принадлежат к Мп, то Нп естественно называть логарифмической мерой разнообразия (в вероятностном смысле!) множества векторов длины я, а Я — «средней мерой разнообразия на одну составляющую». — Прим. ред.
9/13
ЭНТРОПИЯ
253
12%. Следовательно,
взвешенное = 45 .'0,811 +43.0,811 + 12- 1,061 среднее значение 45 + 43 + 12
и получается именно то, что было приведено выше.
Упр. 1. Покажите, что последовательность букв Г и Р, образуемая бросанием монеты, имеет среднюю энтропию в 1 бит на каждое бросание. (Указание: постройте матрицу переходных вероятностей.)
Упр. 2. (Продолжение.) Что случится, если монета погнута? (Указание: посмотрите, что получится, если изменить вероятности.)
9/13. Прежде чем двигаться дальше, следует отметить, что введенная Шенноном мера и различные важные теоремы, в которых она используется, основаны на определенных допущениях. Эти допущения обычно выполняются в технике телефонной связи, но их выполнение отнюдь не столь обычно в биологической работе и в областях, рассматриваемых в этой книге. Поэтому эта мера и эти теоремы должны применяться с осторожностью. Основные допущения Шеннона таковы:
1) Различные дроби, изображающие множество вероятностей, должны в сумме давать 1; энтропия не может быть вычислена для неполного множества возможностей.
2) Матрица переходных вероятностей, изображающая источник информации с несколькими множествами вероятностей, должна быть марковской; это значит, что вероятность каждого перехода должна зависеть только от состояния, в котором находится система (т. е. от операнда), а не от состояний, в которых она находилась раньше (§ 9/7). В случае необходимости надо предварительно переопределить состояния источника, как в § 9/8, чтобы матрица стала марковской.
3) Энтропия различных столбцов усредняется (§9/12) с помощью относительных частот при установившемся равновесии (§ 9/6). Тем самым в теоремах предполагается, что при любом начальном состоянии система может двигаться достаточно долго, чтобы ее состояния достигли своих равновесных плотностей.
254 ГЛАВА 9. НЕПРЕКРАЩАЮЩАЯСЯ ПЕРЕДАЧА^ 9/14
Следовательно, результаты Шеннона должны применяться к биологическому материалу только после тщательной проверки их применимости.
Также следует предостеречь против любой попытки устанавливать слишком свободно и на чисто словесном уровне связь между энтропией Шеннона и энтропией статистической механики. Выводы в этих вопросах требуют большой осторожности, ибо самое незначительное изменение условий или допущений может превратить высказывание из строго истинного в абсурдно ложное. Движение в этих областях напоминает движение в джунглях, полных ловушек. Наиболее знакомые с этим предметом обычно наиболее осторожны в разговорах о нем.:
Предыдущая << 1 .. 78 79 80 81 82 83 < 84 > 85 86 87 88 89 90 .. 144 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed