Введение в кибернетику - Эшби У.Р.
Скачать (прямая ссылка):
Вероятность............0,5 0,5
Найдем снова энтропию:
— 0,5 log 0,5 — 0,5 log 0,5.
Назовем ее #2. Она равна 1,000 бита на символ. Тогда ненадежность равна Hi — Я2, т. е. 0,081 бита на символ. Действительная скорость передачи информации при наличии шума равна энтропии источника минус ненадежность. В данном случае энтропия источника равна 1,000 бита на символ, как вытекает из таблицы:
Посылаемый символ.......0 1
Вероятность...........0,5 0,5
Итак, первоначальное количество информации равно 1,000 бита на символ, и из этого количества 0,919 бита проходит по каналу, а 0,081 бита разрушается шумом.
Упр. 1. Чему равна ненадежность передачи в § 9/19, если все девять сочетаний букв встречаются в длинной последовательности с одинаковой частотой?
Упр. 2. (Продолжение.) Что произойдет с ненадежностью, если на первом входе используются только символы В и С, так что сочетания BE, BF, BGt СЕ, CF, CG встречаются с одинаковой частотой?
*Упр. 3. Докажите следующие правила, которые могут оказаться полезными, если мы хотим определить значение — р \oga р, когда р либо очень мало, либо очень близко к 1:
1) если р = ху, то — plogap = — xy(\ogax + \ogay)l
z УС\0"г
2) если р = 10-*, то — р \ogaP = lQgiQa I
3) если р очень близко к 1 и если положить 1 — р = д,
Упр. 4. Найдите —р1о^2Р, если р равно 0,00025. [Указание: запишите р как 2,5 X Ю-4 и используйте (1).]
Упр. 5. При анализе крови гематолог рассматривает под микроскопом и различает лимфоциты и моноциты. Если он по
272 ГЛАВА 9. НЕПРЕКРАЩАЮЩАЯСЯ ПЕРЕДАЛА 9/22
ошибке принимает одного из каждой сотни лимфоцитов за моноцит и одного из двухсот моноцитов за лимфоцит и если эти клетки встречаются в крови в отношении 19 лимфоцитов на I моноцит, то чему равна ненадежность? (Указание: используйте результаты двух предыдущих упражнений.)
9/22. Безошибочная передача. Теперь мы подошли к основной теореме Шеннона о передаче информации при наличии шумов (т. е. при действии других, посторонних входов). Можно подумать, что если при передаче сообщений по некоторому каналу каждое сообщение имеет определенную вероятность случайного изменения, то прием достоверно правильного сообщения невозможен. Однако Шеннон убедительно показал, что этот взгляд, при всей своей правдоподобности, является ошибочным. Надежные сообщения могут передаваться по ненадежному каналу. Читатель, которому это покажется слишком парадоксальным, должен обратиться за доказательством к книге Шеннона; я здесь сформулирую только результат.
Пусть количество передаваемой информации равно Я, и положим ненадежность равной ?, так что количество принимаемой, информации будет Я — Е. (При этом, как и во всей книге Шеннона, предполагается непрекращающаяся передача.) Теорема утверждает, что если увеличить пропускную способность канала не менее чем на Е, например путем введения другого, параллельного канала, то будет можно так закодировать сообщение, чтобы остающийся процент ошибок был сколь угодно близок к нулю. (Это достигается ценой задержки передачи; ибо надо накопить достаточно символов сообщений, чтобы среднее значение накопленного материала приближалось к среднему значению за все время передачи.)
Обратно, можно и с меньшей задержкой передачи сколь угодно уменьшать ошибки, если увеличивать пропускную способность канала более чем на минимальное количество Е К
Трудно переоценить значение этой теоремы для понимания того, каким образом система со столь запутанными связями, как кора головного мозга, может проводить сообщения без того, чтобы каждое сообщение
1 Это утверждение не. является вполне ясным и для читателя, знакомого с теорией Шеннона. — Прим. ред.
9/22
ШУМЫ
273
постепенно искажалось ошибками и помехами до полной бесполезности. Теорема утверждает, что избыток пропускной способности канала может свести ошибки до любого желаемого уровня. Но в мозгу и особенно в коре на пропускную способность каналов накладывается мало ограничений, ибо обычно ее можно увеличить путем простого увеличения числа используемых волокон; это увеличение числа волокон происходит либо в ходе эмбриогенеза, либо функционально в процессе обучения.
Всего воздействия этой теоремы на нейропсихологию еще нельзя предвидеть. Значение ее состоит не столько в ее способности разрешить проблему: каким образом мозг преодолевает все возрастающую порчу передаваемых внутри него сообщений? — сколько в показе того, что эта проблема вряд ли вообще возникает и, уж во всяком случае, не является главной.
Эта теорема иллюстрирует другого рода пользу, которую кибернетика может принести биологии. Методы кибернетики могут оказаться решающими при рассмотрении определенных сложных проблем не потому, что эти методы дают непосредственные ответы на проблемы, а потому, что они показывают неправомерность самих проблем. Методы кибернетики могут показать, что -эти проблемы поставлены неправильно или основаны на ошибочном допущении.
Некоторые из основных проблем, встающих сегодня при изучении мозга и поведения, пришли к нам из средневековья или еще более ранних времен, когда основные допущения были совершенно другими и, по нашим сегодняшним представлениям, ошибочными до смешного. Некоторые из этих .проблем, вероятно, неправильно поставлены и находятся на одном уровне с классической проблемой средневековой медицины: каковы отношения между четырьмя элементами и четырьмя гуморами? 1
