Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
1) в случае bfl=bc наблюдается колебание коэффициентов системы около оптимального положения;
2) при Ьс=1 происходит постепенная расстройка системы тем сильнее, чем более Ь„ отличается от 1 и чем менее от 0;
3) при Ьс=0 вне зависимости от величины Ь0 система остается в оптимальном положении.
Рис. 12.48. Динамика изменения коэффициента системы при Ь =1 для различных Ь0.
Исследования при начальных значениях коэффициентов нейронной сети, не равных оптимальным, показали, что при bc=b0 система в результате настройки приходит к оптимальному состоянию. При Ьс=1 и bc*b0 система не настраивается, несмотря на длительное время настройки (рис.12.48).
12.12. Аналитические методы исследования нейронных сетей, настраивающихся по замкнутому циклу
Ниже излагается общая методика анализа нейронных сетей, настраивающихся по замкнутому циклу. Данная методика иллюстрируется частными примерами. Отмечаются трудности использования данной методики и возможные пути решения задачи в менее частных постановках.
Общая методика анализа замкнутых нейронных сетей, настраивающихся по замкнутому циклу, по структуре аналогична методике анализа замкнутых нейронных сетей, настраивающихся по разомкнутому циклу, и состоит из следующих этапов:
1) определение плотности распределения вероятностей для вектора оценки градиента функционала вторичной оптимизации;
2) вывод стохастического дифференциального уравнения для изменения в процессе настройки плотности распределения настраиваемых коэффициентов нейронной сети;
3) решение данного уравнения;
4) нахождение распределения вероятности правильного распознавания интегрированием по пространству признаков и пространству состояний нейронной сети (пространству настраиваемых коэффициентов).
В принципе задачу выбора параметрической матрицы К*, обеспечивающей заданное качество настройки, нужно про-
изводить, исходя из результатов п.З методики. Однако, как будет показано ниже, это довольно трудная задача. Ее приходится решать, зачастую исходя из косвенных критериев, непосредственно не связанных с функционалом вторичной оптимизации. Ниже данные этапы исследования замкнутых нейронных сетей иллюстрируются на некоторых частных примерах, не претендующих на законченность решения для конкретных систем. В данном параграфе рассматривается линейный пороговый элемент, оптимизация которого осуществляется по критерию минимума модуля первого момента дискретной ошибки.
Для нейрона с минимизацией |alff| в случае N = тпп=1 было получено рекуррентное соотношение, являющееся основой для построения блока настройки, в следующем виде:
a0(n+l)=a0(n) - К*хд(п).
Первый этап анализа. В данном случае имеем дело с задачей случайного блуждания по одномерной решетке. Это блуждание описывается марковской цепью с бесконечным числом состояний. Вероятности переходов системы из состояния тпК* в состояние (тп+1) К", (т-1 )К* и тК* соответственно равны:
P[mK*|(m+l)K*] = ~ и-Ф^тК*)],
1
Р[тК*\(т - 1)К*] = - Ф2(тК*);
1
Р[тК*| тК*] = - [1+Ф1(тК*)-Ф2(тК*)].
Здесь Ф - интегральный закон распределения.
Второй этап. Стохастическое разностное уравнение, описывающее изменение во времени плотности распределения вероятностей порога а„, имеет следующий вид:
Wn+1(mK*) -Wn[(m-1)K*] ^ {1-Ф,[(т-1)К*]}+
+ Wn(mK*)^ [Ф1(тК*)+1-Ф1(тК*)]+
+ Wn[(m+1)K*] г2 Ф2[(т+1)К*].
Третий этап. Решение данного стохастического разностного уравнения является достаточно сложной задачей. Поэтому остановимся на решении данного уравнения для установившегося состояния (п = <»).
Полагая а0(0)=0 и переходя к пределу при п —»¦», что соответствует системе в установившемся состоянии, получаем:
W[(m-1)K*] ^ {1-Ф1[(пг-1)К*]}+
+ W[(m+1)K*]^ Ф2[(т+1)К*]-
1
- W(mK*) - [1 -Ф^тК^+Ф^тК*)] = 0.
Отсюда
W[(m-1)K*] ~ {1-Ф1[(тп.-1)К*]}-
1 1
-W(mK*)~ Ф2(mK*) = W(mK*)~ [l-O^mK*)]-
Z ct
- W[(m+l)K*]^ Ф2[(пг+1)К*] = С.
Из условия нормировки плотности распределения настраиваемого коэффициента а0 по т следует, что W(mK*)=Q. Поэтому С=0 и
W[(m-1)K*]^ {l^Km-DK*^
= W(mK*) ^ Ф2(тК1*).
Полагая W(0)=A получаем:
W{K*)=A W(2K*)=W(A)-,.I-~-l(y);
Ф2(К*) Ф2(2К*)
W(-K*)=A -°2.(0) ;
1-Ф^К*)
w(-2x*) = w(-k*) —.
х-Ф^-гк*)
Величина A=W(0) определяется из условия нормировки плотности W по т. Функция W(') представляет собой плотность распределения для настраиваемого коэффициента а0 сети в установившемся состоянии. Функция У2 [1-Ф1[(^К*)] монотонно убывает от Уг до нуля в интервале -°°< тпД<- Функция 1/2 Ф2(тК*) монотонно возростает от нуля до Уг в интервале -оо< тА<°°. Функция 1/2 [1~Ф1[('пг/С*) + Ф2(тК*)] имеет максимум в точке корня уравнения
