Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
1) а(п+1) = К* В + [У + 2К*А] а(п);
2) ат(п)А а(п] + BTa(n) = j ат(п+1) • А ¦ а(п+1) + Вта{п+1). (8.4)
Решение данной системы требует применения ЭВМ. При рассмотрении конкретных методов поиска экстремума, а следовательно, и конкретных видов матрицы К* необходимо проверять условия удовлетворения данной матрицей соотношения (8.4) для обеспечения устойчивости системы поиска.
К*= ~ 7 А'1.
Получим нерекуррентное выражение для а(п). Из (8.3) следует:
а(1) = К* В + [У + 2АК*\ а(0); а(2) = К* В + [У + 2АК*]К* В + [У + 2АК*]2а(0); а(3) = К* В+ [У + 2АК*]К* В + [У + 2AK*fK* В + [У + 2К*А]3а(0). По индукции
а(п) = [У +(У + 2К*А] +... + (У + 2K*Af-L]K* В + [У + 2K*Afa(0). Учитывая, что
У +(У + 2К*А] +... + (У + 2K*Af'1= У~1у + 2К*ЛГ= v J v J У - [У + 2К*А]
= - [У -(У + 2К*А)П] (2К*А)-1, можно записать выражение для а(п) в следующем виде: а(п) = (У + 2К*А)” а(0) +| [(У + 2К*А)П- У](К*А)'1К*В.
Отсюда получаем окончательное нерекуррентное выражение для вектора состояния системы поиска
а(п) = (У + 2К*А)" а(0) [(У + 2К*А)п- У]А_1В. (8.5)
Подставляя в (8.5) условие оптимальности по быстродействию рассматриваемой системы поиска, равное К = -1/2 А'1, получаем, как и следовало ожидать:
а(п)= А'1В, п=1,2.....
что соответствует экстремальному значению функции.
Путем анализа нерекуррентной формулы получим ограничения на параметры матрицы К*, обеспечивающее сходимость итерационного процесса поиска.
Из (8.5) следует, что
lim а(п) = - А_1В,
п 2
т.е. не зависит от а(0) и равен экстремальному значению вектора состояния при
lim (Y + 2K*A)n = O,
71 —*»
[ где О - нулевая матрица (Y, А). Это выражение можно использовать для доказательства сходимости системы поиска. В [8.12] приводится также вывод выражения для матрицы К*, удовлетворяющей условию автоколебательности процесса поиска.
8.3. О методе стохастической аппроксимации
Метод стохастической аппроксимации реализуется системой поиска, аналогичной градиентной, но имеющей переменные параметры (матрицу К*) [8.1, 8.3, 8.6, 8.8]. Метод стохастической аппроксимации как частный градиентный метод поиска применяется при наличии случайных ошибок измерения вектора градиента минимизируемой функции. Именно наличие указанных случайных ошибок делает необходимым введение переменности параметров системы поиска с целью обеспечения нулевой случайной ошибки определения точки экстремума. Недостатки этого метода поиска совершенно справедливо отмечаются в работах А.Г. Ивахненко [8.29] в плане увеличения систематических ошибок в переходном процессе поиска точки экстремума.
В излагаемой в данной работе методике синтеза нейронной сети применение метода стохастической аппроксимации возможно наряду с другими методами поиска, в частности с постоянными параметрами. При этом построение замкнутых нейронных сетей производится в любом случае при некоторой неопределенности в задании матрицы К*, которая ликвидируется лишь на этапе исследования замкнутых систем. Вопрос об оптимальном (по критериям первичной оптимизации) выборе параметров матрицы К* здесь будет являться некорректно поставленным, так как вид минимизируемой функции нам заранее не известен.
8.4. Итерационные методы поиска экстремума функций многих переменных при наличии ограничений типа равенств на переменные
В общем виде ограничения типа равенств на настраиваемые коэффициенты нейронной сети записываются в следующем виде:
q (a) = 0, ц=1......Мр М,<№+1.
В реальных нейронных сетях
2 а. = а =
<=о
т.е. существуют, например, ограничения на сумму коэффициентов.
8.4.1. Алгоритм поиска
В данном случае задача минимизации функции качества Y(a) в многослойных нейронных сетях решается путем составления функции Лагранжа
Y(a, k) = Y(a) + A.rqT(a),
где Яг = ..., Хм ] - вектор множителей Лагранжа, qT(a) =
= [q^a).....qM (а)] ~ вектор-функция ограничений.
Решение задачи минимизации сводится к решению следующей системы уравнений:
<ЩаД) dY(a) n dY(a,X)
—-------= —:—+ Q( а) А = 0; —--------= q(a) = 0. (8.7)
aa aa dX
Здесь
Q(a) =
9g„(a)
da.
dqja) ... dgM1(a) da( dqt(a) da..
da0
da'
Из (8.7) следует рекуррентное соотношение, являющееся основой для алгоритма поиска
+ К*,
а = а(п) л ®А X = Х(п)
а(п+1) = a(n) +
: а(п) : Х(п)
Х(п+1) = Щ + ^(п)^-Я)
а = а(п) Я = Х(п)
. « лл^Д)
а = а(п) оА
X = Х(п)
В этом случае система поиска может быть представлена эквивалентной дискретной системой с параметрическими матрицами К*а, К*Л , , К*х . Учитывая (8.7), можно записать
окончательное выражение для алгоритма поиска в следующем виде:
