Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
-------ТП
личных гипотез для синтеза фильтра оценки ха(пЛГ) необходимо выбирать гипотезу высшего порядка.
В случае нестационарных образов, как показывает анализ соответствующих выражений, оценка градиента функционала вторичной оптимизации есть задача фильтрации нестационарных случайных сигналов. Выше, задаваясь некоторой априорной информацией о характере нестационарности обра-
зов на входе, определялись характеристики нестационарнос-ти реализаций градиента функционала вторичной оптимизации. Для многомерных и многослойных нейронных сетей и функционалов вторичной оптимизации, связанных с дискретной ошибкой, этот путь построения замкнутых нейронных сетей является сложным. В этом случае мы отступаем от основного принципа построения нейронных сетей, настраивающихся по замкнутому циклу, а именно вносим в процедуру синтеза априорную информацию о входном сигнале нейронной сети. Поэтому методологически будет правильнее задаваться некоторой априорной информацией о нестационарном характере изменения градиента на интервале памяти нейронной сети, а именно такой информацией, которая значительно облегчила бы синтез фильтра оценки вектора градиента. По этой априорной информации о структуре разомкнутой нейронной сети можно на нестрогом, даже семантическом, уровне показать класс нестационарных характеристик совокупностей образов, для которого априорная информация
о характере изменения во времени параметров распределения градиента является достаточной. Этот подход, с одной стороны, облегчит процедуру синтеза фильтра в блоке настройки, с другой стороны, создаст возможность построения алгоритмов настройки по замкнутому циклу с поправкой коэффициентов не через тп тактов поступления входных образов, как было выше принято, а в каждый момент времени п.
Результаты синтеза многомерных фильтров, представленные в [9.8], примененимы как при построении нейронных сетей, настраивающихся по разомкнутому циклу (при оценке векторов математических ожиданий нестационарных совокупностей образов), так и при построении нейронных сетей, настраивающихся по замкнутому циклу (при оценке векторов градиентов функционалов вторичной оптимизации нейронной сети нестационарных образов).
9.11 .Построение нейронных сетей с перекрестными и обратными связями, настраивающихся по замкнутому циклу
Ниже рассматривается в качестве функционала вторичной оптимизации только второй момент распределения дискретной ошибки.
В случае системы распознавания с перекрестными связями разомкнутая нейронная сеть, в частности двухслойная, описывается следующим выражением (см.гл.2):
Н; N N
y = F[l a.F[ X a^xj+l аЛ].
Здесь, как и ранее,
дхп
Эа
=-2х„-=г— у 0 Эа и
(9.17)
В данном случае
ду _ dF(g) Эу _ dF(g) dFigJ Эу _ dF(g)
ZZ* dg У? Ж. dg a; dg(. ^ Эа, dg х‘‘
Эти выражения являются основой для построения соответствующей замкнутой нейронной сети.
Разомкнутая нейронная сеть в виде нейронов с обратной связью описывается следующим выражением (гл.2):
N
y(n)=F[ Е а^п) +аку(п-1)]. (9.18)
Рассмотрим вариант с пгп=1. При mn=const важно лишь удовлетворить условие независимости у(п-1) от ае Из (9.18) следует:
Эу(п) dF(g) Эу(п) dF(g)
Эа,
dg
у(п-1).
Отсюда с учетом (9.17) следует рекуррентное соотношение, являющееся основой для построения соответствующей замкнутой нейронной сети:
тпп
.(9.18а)
а(п+1) а(п)
afe(n+l) ак(п)
dF(g . . + К* —г— *»(") dg 9
х(п)
у(п-1)
Рассмотрим двухслойную нейронную сеть с обратными связями. Описание разомкнутой нейронной сети следующее:
y(n)=F[g(n)]; g(n)= X a,y(n) + afcy(n-l);
Л 3=1 (9.186)
у(п)=Р[д;.(п)]; g}(n)= Е а^(п) + afcjy(n-l)+afcj.y(n-l).
Используя преобразование (9.17), получаем:
Эти выражения являются основой для построения соответствующей замкнутой нейронной сети. Не представляет принципиальных затруднений обобщение данных результатов на нейронной сети с наличием одновременно перекрестных и обратных связей, нейронной сети с произвольным числом слоев нейронов, нейронной сети с перекрестными и обратными связями различной «логической глубины».
9.12.Построение замкнутых нейронных сетей
В [9.5] рассмотрены алгоритмы самообучения, аналогичные по своему качеству алгоритмам восстановления плотностей распределения вероятностей, так как в режиме настройки по замкнутому циклу определяют координаты мод функции /(х). Ниже рассмотрены алгоритмы настройки по замкнутому циклу нейронной сети с произвольной фиксированной структурой в режиме самообучения. Данные алгоритмы могут быть получены из приведенного расчета на каждом шаге настройки параметров многослойной нейронной сети с фиксированной структурой по координатам векторов, соответствующих модам /(х). Возможен и другой подход, аналогичный тому, который использовался выше на этапе рассмотрения режима обучения. Средний риск есть в данном случае первый момент распределения сигнала х'к, определяемого выражением (7.35). Отсюда
