Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
17+1 : 1 0 0 17+2 : 2 0 0, а в г'-ю строку заносится запись
0 U + 1 U + 2,
т.е. теперь г-я вершина является промежуточной вершиной логического дерева.
Оператор «Проведение дополнительной разделяющей поверхности» может использовать практически любой алгоритм настройки нейрона, описанный в гл.9. Более того, данный оператор может реализовать любую нейронную сеть с фиксированной структурой, описанную в гл. 9 и 10.
Оператор «Проверка улучшения качества» предназначен для | проверки улучшения качества распознавания Результаты рабо-1 ты этого оператора используются для процесса построения логи-1 ческого дерева: если качество улучшилось, то дальнейшему! делению подвергается область, например, с наибольшим значением средней функции риска; в противном случае делению подвергаются области, полученные при последнем делении.
13.2. Алгоритм обучения нейронов первого слоя многослойной нейронной сети с применением метода случайного поиска локальных и глобального экстремумов функций
На основе метода случайного поиска локальных и глобально-! го экстремумов функций многих переменных, изложенного в| гл.8, разработан алгоритм обучения нейронов первого слоя многослойной нейронной сети. В данном случае можно отказаться от! построения древообразной структуры и в первый слой включа-| ются все нейроны, обеспечивающие локальные экстремумы сред-| ней функции риска (рис.13.6,13.7). на рис.13.6 четыре гиперплоскости в двумерном пространстве признаков определяют четыре! локальных экстремума средней функции риска. Цифрами в кру-1 жочке обозначены номера аргумента логической функции, соот-1 ветствующие каждой области многомерного пространства признаков. В табл.13.1 даны значения логической функции (для при-1 мера рис. 13.6), реализуемой в многослойной нейронной сети сло-| ями нейронов, кроме первого. Звездочкой в таблице обозначень те значения логической функции, которые не являются определенными при данном значении аргументов (при данной на рис
13.6 конфигурации разделяющей поверхности). Индексом нуль!
9 (Г\ 10
\ /
hs tz 'iV
t
S В
Хм
Рис. 13.6. Иллюстрация к методу обучения нейронов первого слоя многослойной нейронной сети с применением алгоритмов случайного поиска
Рис.13.7. Свойство многоэкст-ремальности средней функци риска при многомодальных рас-* пределениях f(x/e)
обозначены области пространства признаков, в которых нет 00' разов ни первого, ни второго класса.
Таблица 13.1
Z 0 1 2 3 4 5 6 7 8 9 10 ] 1 12 13 14 15
г/, -1 1 -1 1 -1 1 -1 1 -1 1 -1 1 -1 1 -1 1
У?, -1 -I 1 1 -1 -1 i 1 -1 -1 1 1 -1 -1 1 1
Уъ -1 -1 -1 -1 1 1 1 I -1 -1 -1 -1 1 ! 1 1
V* -1 -1 -1 -1 -1 -1 -1 -1 1 1 1 1 1 1 1 1
е * * * * -1 0 0 * -1 0 0 * 0 1 1 *
Совершенно очевидно, что детерминированные мет°Ды поиска не позволяют выйти за пределы локального экстремума и, пожалуй, единственным выходом из этого положёния является введение элемента случайности в процедуру пойска-
Основные этапы работы алгоритма в каждом цикле состо_ ят в следующем:
а) случайным образом выбираются компоненты вектора на_ страиваемых коэффициентов очередного нейрона;
б) применяя один из методов обучения нейронов, находим очередной локальный экстремум средней функции риска)
в) величина экстремального значения средней функции риска и соответствующие компоненты вектора весовых коэффициентов нейрона сравниваются с содержимым памяти и запоминаются, если ранее этот локальный минимум найден не 6р1Л-
На первом цикле по числу нейронов первого слоя произво_ дится сравнение с нулем и запись в память. Если став»*™ цель - определение только глобального, а не всех локалиНЬ1Х экстремумов, то необходимо сравнение величины очередного экстремального значения минимизируемого функциона.да с ранее полученным, выбор и запись только минимального значения функционала.
По окончании третьего этапа происходит переход к пе;Рв°-му этапу и определяется вектор настраиваемых коэффициентов следующего нейрона первого слоя, обеспечивающий очередной локальный экстремум средней функции риска.
Экспериментальное исследование одного цикла
работы
данного алгоритма обучения нейрона первого слоя многослойной нейронной сети было приведено ранее в гл.12. На рис?-13.8 представлена структурная схема программы, реализукУЩей
Ввод и контроль исходных данных,
I
Выдача начальных Подпрограмма датчика
условий для ---> начальных условий
градиентной с равномерным
процедуры 4--- распределением
L.
Вычисление ---> Программа вычисления
приращений «--- градиента
аргумента
оптимизируемой
функции к L
Исследование на окончание итерационной процедуры
