Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
N
I m-i j----тп ---- т_
I Ха(П) I = 1е(П) аЛ(П) |. (*0=-1)-
Отсюда
...... ТП ¦
d 1 1 sign [ xa(nfn ] x/nf", г=0, . . ,,N.
о а,-
Рекуррентное выражение, являющееся основой построения нейрона, настраивающегося по замкнутому циклу, имеет следующий вид:
а(п+1) = а(п) -К* sign [ xa(n) n] x(n) n. (9.1)
Выбор параметров матрицы К* является в конечном итоге задачей анализа и синтеза замкнутых нейронных сетей. Однако уже на данном этапе можно наложить на ее вид определенные ограничения. Эти ограничения могут определяться, исходя из задания конкретного вида градиентной итерационной процедуры (Ньютона, Гаусса-Зейделя, Саусвелла и др.). В [9.5, 9.6] эти ограничения определяются для метода стохастической аппроксимации. Можно потребовать сходимости итерационной процедуры к экстремуму | а1о| на каждом шаге, т.е. соблюдения следующего условия (в одномерном случае):
е(п)Ып - x(n)m" a1(n+l)+a0(n+l)=0.
В данном случае одними из возможных значений элементов матрицы К* будут: K*u= - | xa(n)m" |, К*21=К’12=К*22= 0.
Выбор величины тп в выражении
n=m L *a(*)
также является задачей анализа и синтеза замкнутых нейронных сетей. Здесь необходимо отметить следующее. Уменьшение тпп, с одной стороны, приводит к повышению уровня шумов измерения градиента функционала вторичной оптимизации, с другой стороны, уменьшает запаздывание в контуре настройки по замкнутому циклу.
В случае минимизации второго момента аналоговой ошибки
______т ~fj mn2 N
x2a(n) n = 1 +[ atx{(n) ]- 2e(n)X а^хДп).
_ t=0 i=0 Отсюда _________
—-У?) " = - 2 x (ft) • хДпГ», i = 0, . . .,N.
а щ
a(n+l) = a(n) -2K* xa(n) x(n) n.
При минимизации модуля первого момента дискретной ошибки нейронной сети _________т
I ™ , I ™ N п I
-----Шп\ ТП^ г Г1 -i|
| хд(п) | = |e(n) - sign[ 2^ агхг(п) J|;
Э I хТп) П1 г------Л Э
---| 1 =- sign [ х (п)] т— sign д(п) .
о а,- у о ai
Для поиска экстремума можно использовать информацию
о знаке первой производной, о величине первой производ-
ной, о величине первой производной и знаке второй, о величинах первой и второй производной и т.д.
В данном случае величину первой производной определить нельзя и необходимо использовать информацию о ее знаке; так как
Э v 2 Э v
—sign L ах in) = lim -=- — arctg В L ах in) =
Эа, 6 i=0 1 в->~п Эа, 6 i=0 •
= lim-2_ Bxj(n) в™ 71 l+B2g2(n) ’ -
ТО
Sign t^ Sign 9(n) 1 Signt^T . , fz 2t J = Si§n X№-
иat b->~ x+B g (n)
Отсюда
d l y)! = sign [x (n)] sign хДп), i = 0, . . ,,N. (9.2)
Эа,
Здесь и в дальнейшем при рассмотрении функционалов, связанных со вторым моментом распределения дискретной ошибки, эта величина также условно называется оценкой вектора градиента, хотя в принципе представляет собой псевдоградиент, полученный заменой производной ду/да( на знак производной.
В данном случае нет возможности построения алгоритма настройки по замкнутому циклу с удовлетворением критерия минимума | ctjJ при произвольном значении памяти тп фильтра оценки градиента. Чтобы показать это, представим измеренные значения градиента функционала вторичной оптимизации в виде некоторого случайного процесса. В общем случае (включающем и критерий минимума а2д) измеренное в текущий момент времени значение градиента может быть условно представлено в виде произведения двух сомножителей, а именно х1(п)х2(п). Величину одного из сомножителей, например d[sign g(n)]/3ai, нельзя вычислить непосредственно через сигналы в нейронной сети. Можно определить таким образом только знак этого сомножителя. Замена в выражении для градиента при произвольном значении тп при этом приводит к невозможности определения знака оценки градиента, так как в общем случае
sign xl(n)x2(n)Mn * sign [ хДп) sign x2(n) n] .
Отсюда следует, что построение аналитических алгоритмов настройки нейронной сети с двумя решениями по замкнутому циклу при рассмотрении функционалов втоичной оптимизации, связанных с дискретной ошибкой, возможно только при тпп=1. При тпп>1 и прочих равных условиях необходимо построение поисковой процедуры настройки. Необходимо отметить, что в любом случае поисковая процедура настройки должна быть введена для оценки одного из множителей в выражении для реализации градиента вторичной оптимизации, а именно Эу/да.
Выражение (9.2) служит основой для построения соответствующей замкнутой нейронной сети. Для нейронной сети с минимизацией а2д
------Ш-
йг2(п) -----------------т"
