Физика процессов эволюции - Эбилинг В.
Скачать (прямая ссылка):
11.4. Энтропия и сложность Таблица 11.1. Генетический код
У Ц А Г
У Phe Ser Тут Cys У
Phe Ser Туг Cys Ц
Leu Ser Term Term A
Leu Ser Term Term Г
Ц Leu Pro His Aig У
Leu Pro His Aig Ц
Leu Pro Gin Aig A
Leu Pro Gin Aig Г
А He Пи- Asn Ser У
Пе Пи- Asn Ser А
lie Thr Lys Aig Ц
Met Thr Lys Aig Г
Г Val Ala Asp Gly У
Val Ala Asp Gly ц
Val Ala Asp Gly А
Val Ala Asp Gly Г
11.4. Энтропия и сложность
Количественная оценка хранимых в биополимерах и переносимых ими сообщений чрезвычайно затруднительна. Она должна исходить прежде всего из того, что обмен информацией всегда представляет собой взаимное отношение между ее отправителем и получателем и затрагивает следующие стороны (Klix, 1974).
1) Количественная и структурная сторона, т. е. определение количества информации, соподчинений и отношений между элементами сообщения. Это — метрический и синтаксический аспект информации.
2) Содержательная сторона, т. е. определение того, что означают входящие в сообщение символы для принимающей системы. Два сообщения одинакового объема и одинаковой структуры могут обладать различной значимостью. Это — семантический аспект информации.
3) Оценочная сторона, т. е. полезность и значимость принятого сообщения. При одной и той же значимости важность и польза сообщения могут зависеть от условий, в которых находится получатель. Это — прагматический аспект информации.
Все эти вопросы являются предметом изучения теории информации (Abramson, 1963; Яглам, Ягаом, 1973; Ebeling et al., 1998; Tembrock, 1971; Стратонович, 1975; Klix, 1974; Volz, 1982, 1983). Нас особенно интересует один специальный аспект информации, а именно ее метрический аспект. Творцом важнейших из мер информации — информационной энтропии — является американский инженер Клод Шеннон, опубликовавший в 1948 г. на эту тему фундаментальную монографию. Шеннон связал определение энтропии системы с состояниями i — 1,2,..., W,
предложенное Гиббсом и Эйнштейном, и соответствующие вероятности р,, введя
соотношение
w
S = -к ^Pi In Pi- (11.18)
i= I
В случае равновероятных событий Pi = W-1 соотношение (11.18) сводится к формуле Больцмана—Планка—Хартли
Основная идея Шеннона состояла в том, чтобы построение последовательности символов из алфавита {А,-; » = 1,2,..., А} рассматривать как случайный процесс, в котором каждый символ генерируется с вероятностью р,-. В качестве меры неопределенности, устраняемой при реализации буквы А*, Шеннон выбрал величину log Pi 1 ¦ В среднем каждый символ устраняет неопределенность
(основание логарифмов может быть выбрано произвольно). Величина Н называется информационной энтропией (иногда просто информацией или энтропией). Словесно рецепт Шеннона можно сформулировать следующим образом:
Информация на символ = средняя величина неопределенности на символ.
Аналогия шенноновской информационной энтропии (10.20) с физической энтропией системы с W состояниями Гиббса—Эйнштейна очевидна. Шенноновская информационная энтропия зависит только от вероятностей, с которыми стохастический источник порождает символы Ai, поэтому она является свойством источника сообщений и характеризует не отдельное сообщение, состоящее из конкретной последовательности молекул или букв. Последнее утверждение имеет большое значение для нашей проблемы; другие меры информации, характеризующие отдельное сообщение, мы рассмотрим в конце этого раздела.
Во многих приложениях целесообразно наряду с шенноновской энтропией ввести высшие энтропии, использующие в качестве элементов не отдельные буквы, а r-слова. Например, если алфавит содержит А букв, то над ним можно образовать А2 пар букв. Источник, порождающий пары (А<А*) с вероятностями р(А<А*), обладает, по определению, информационной энтропией второго порядка (Яглом, Яглам, 1973)
Если p(\Aj ... А*) — вероятность порождения r-слов, то информационная энтропия г-го порядка определяется выражением
Информационную энтропию r-го порядка можно снова связать с отдельными буквами, положив, по определению (Gatlin, 1972; Ebeling, Feistel, Herzel, 1987),
В предположении, что источник информации стационарен и генерирует эргодиче-скую последовательность Маркова, согласно Хинчину (Khinchin, 1957) справедливо
(11.20)
А
Нг = - Е Р(А<А*) logp(A<Ajfe).
(11.21)
i,*=l
ffr = - Е P(AAj ... А* ) log р( AiAj ...Ак).
Г Г
(11.22)
Я(г) = -НГ1 hr = Яг+1 - Яг. г
(11.23)
Для информационной энтропии, разумеется, справедливо равенство = Н\.
неравенство Я^г+|* ^ и существует предел
ш
Н = lim Н^ ~ lim —- ~ lim hT.
Величина Я называется энтропией источника информации. В конкретных случаях вычислить предел (11.24) часто бывает очень трудно, так как требуется анализировать весьма длинные последовательности. Задача определения энтропии источника Н сильно упрощается, если источник информации обладает лишь конечной памятью. Мы говорим об источнике без памяти (т — 0), если каждый порождаемый символ полностью не зависит от предыдущего. Память первого порядка (то = 1) означает, что генерация символа Aj зависит только от символа, стоящего непосредственно перед Aj, т. е. если вероятности удовлетворяет соотношениям
