Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
8.19. Поляк Б.Т., Цыпкин Я.З. Псевдоградиентные алгоритмы адап-
тации и обучения. //«Автоматика и телемеханика». -1973. -№3, -с. 45 - 68.
8.20. Цыпкин Я.З., Каплинский А.И., Красненкер А.С. Методы локального улучшения в задачах стохастической оптимизации. Изв. АН СССР. Сер. «Техническая кибернетика», -№6 , -1973. С. 3 - И.
8.21. Цыпкин Я.З. Адаптивные методы выбора решений в условиях неопределенности. //«Автоматика и телемеханика». -1976, -№3, -с. 78 - 91.
8.22. Цыпкин Я.З. Оптимизация в условиях неопределенности. Докл. АН СССР. Т 228, №6, 1976. С. 1306 - 1309.
8.23. Цыпкин Я.З. Стабилизация и регуляризация оценок оптимальных решений при наличии неопределенности. Докл. АН СССР, Т 236, № 2, 1977. С. 304 - 306.
8.24. Цыпкин Я.З. О некоторых свойствах случайного поиска. // «Автоматика и телемеханика». -1977, -№ 11, - с. 89 - 94.
8.25. Поляк Б.Т., Цыпкин Я.З. Оптимальные псевдоградиентные алгоритмы стохастической оптимизации. Докл. АН СССР. Т. 250, № 5, 1980. С. 1084 - 1087.
8.26. Поляк Б.Т., Цыпкин Я.З. Оптимальные псевдоградиентные алгоритмы адаптации. //«Автоматика и телемеханика». -1980. -№ 8. - С. 74 - 84.
8.27. Поляк Б.Т., Цыпкин Я.З. Робастные псевдоградиентные алгоритмы адаптации. //«Автоматика и телемеханика», -1980, -№ 10, - с. 91 - 97.
8.28. Цыпкин Я.З., Позняк А.С. Оптимальные поисковые алгоритмы стохастической оптимизации. Докл. АН СССР. Т. 260, № 3, 1981. С. 550 - 553.
8.29. Ивахненко А.Г. Самообучающиеся системы распознавания и автоматического управления. -Киев, «Техника», 1969, 392 с.
РАЗДЕЛ 3. АДАПТИВНЫЕ НЕЙРОННЫЕ СЕТИ
Глава 9. Алгоритмы настройки нейронных сетей
9.1. Постановка задачи
Как указывалось в гл.7, выбор функционала вторичной оптимизации производится на основании заданных в общем виде характеристик входного сигнала, критерия первичной оптимизации и структуры разомкнутой нейронной сети. В процессе выбора функционала в системе распознавания были сформированы сигналы, моменты распределения которых соответствуют или равны некоторым функционалам первичной оптимизации.
Замкнутая нейронная сеть представляет собой разомкнутую нейронную сеть с включенным блоком настройки. Построение замкнутых нейронных сетей производится на основании выбранного критерия вторичной оптимизации и метода поиска экстремума данного функционала [9.1—9.4]. В качестве функционалов вторичной оптимизации были рассмотрены функционалы, связанные с моментами аналоговой и дискретной ошибок нейронной сети. В процессе построения замкнутых систем производится синтез блока вычисления параметров функционала качества нейронной сети, необходимых для организации процесса итерационного поиска. При этом основная задача заключается в том, чтобы оценить вектор градиентов функционала вторичной оптимизации. Решить эту задачу можно двумя путями: поисковым, когда для организации итерационного процесса движения к экстремуму функционала качества знания или знаки производных определяются в результате воздействия на систему и обработки результатов воздействия поисковых колебаний; нахождением оценки вектора градиентов в виде аналитического выражения через промежуточные и выходные сигналы нейронной сети.
В первом случае имеют дело с поисковой нейронной сетью, во-втором - с аналитической. Естественно, предпочтительнее построение нейронной сети в виде аналитических систем, настраивающихся по замкнутому циклу, так как введение поисковых колебаний вносит дополнительные шумы в систему. Однако построение нейронной сети в виде аналитической системы не всегда возможно. Если в системе нельзя выделить сигнал, характеризующий градиент функционала оптимизации, то необходимо использование поисковых колебаний
Ниже рассматриваются системы распознавания различных типов: нейрон с двумя решениями на два класса образов, нейрон с Кр решениями на К классов образов, нейрон с континуумом решений и континуумом классов образов, многослойные нейронные сети из нейронов с континуумом решений при наличии и отсутствии ограничения на настраиваемые коэффициенты, многослойные нейронные сети с N'-мерными сигналами е(п) и у(п), многослойные нейронные сети с перекрестными и обратными связями.
Методика построения методологически просто обобщается на случай нестационарных образов, когда функционал вторичной оптимизации зависит от времени, а реализация вектора градиентов есть реализация нестационарного многомерного случайного процесса. Это свойство градиента определяет методику построения многомерного фильтра в блоке настройки нейронной сети.
Отдельного внимания требует вопрос построения многослойных нейронных сетей в режимах самообучения и произвольной квалификации учителя. Методология построения замкнутых нейронных сетей здесь та же, что и в режиме обучения.
Построение алгоритма настройки нейронных сетей по замкнутому циклу производится подстановкой выражения для оценки вектора градиента функционала в соответствующую формулу для поисковой процедуры.
9.2. Нейрон с двумя и континуумом решений
Для нейрона с двумя решениями ниже рассматриваются четыре функционала вторичной оптимизации |а1о|, а2а, | а1э|, a2g. Выражение для модуля оценки первого момента аналоговой ошибки имеет следующий вид:
