Пятковский О.И. Интеллектуальные информационные системы (нейронные сети)

Подождите немного. Документ загружается.

3.3 Многослойный ПЕРСЕПТРОН.

Ограничения однослойных нейронных сетей. Необходи-

мость иерархической организации нейронной системы. Мно-

гослойный ПЕРСЕПТРОН. Алгоритм обратного распро-

странения ошибок.

3.3.1 Необходимость иерархической организации нейросе-

тевых архитектур.

На предыдущих лекциях нам уже пришлось встретиться с весьма жест-

кими ограничениями на возможности однослойных сетей, в частности с требо-

ванием линейной разделимости классов. Особенности строения биологических

сетей подталкивают тсследователя к использованию более сложных, и в част-

ности, иерархических архитектур. Идея относительно проста - на низших уров-

нях иерархии классы преобразуются таким образом, чтобы сформировать ли-

нейно разделимые множества, которые в свою очередь будут успешно распо-

знаваться нейронами на следующих (высших) уровнях иерархии.

Однако основной проблемой, традиционно ограничивающей возможные

сетевые топологии простейшими структурами, является проблема обучения.

На этапе обучения сети пред'являются некоторые входные образы, называе-

мые обучающей выборкой, и исследуются получаемые выходные реакции.

Цель обучения состоит в приведении наблюдаемых реакций на заданной обу-

чающей выборке к требуемым (адекватным) реакциям путем изменения со-

стояний синаптических связей. Сеть считается обученной, если все реакции на

заданном наборе стимулов являются адекватными. Данная классическая схема

обучения с учителем требует явного знания ошибок при функционировании

каждого нейрона, что, разумеется, затруднено для иерархических систем, где

непосредственно контролируются только входы и выходы. Кроме того, необхо-

димая избыточность в иерархических сетях приводит к тому, что состояние

обучения может быть реализовано многими способами, что делает само понятие

“ошибка, делаемая данным нейроном” весьма неопределенным.

Наличие таких серьезных трудностей в значительной мере сдерживало

прогресс в области нейронных сетей вплоть до середины 80-х годов, когда бы-

ли получены эффективные алгоритмы обучения иерархических сетей.

3.3.2 Многослойный ПЕРСЕПТРОН.

Рассмотрим иерархическую сетевую структуру, в которой связанные

между собой нейроны (узлы сети) об'единены в несколько слоев (Рис. 6.1). На

возможность построения таких архитектур указал еще Ф.Розенблатт, однако им

не была решена проблема обучения. Межнейронные синаптические связи сети

устроены таким образом, что каждый нейрон на данном уровне иерархии

принимает и обрабатывает сигналы от каждого нейрона более низкого уровня.

Таким образом, в данной сети имеется выделенное направление распостра-

нения нейроимпульсов - от входного слоя через один (или несколько) скры-

тых слоев к выходному слою нейронов. Нейросеть такой топологии мы бу-

дем называть обобщенным многослойным персептроном или, если это не будет

вызывать недоразумений, просто персептроном.

Рис.6.1. Структура многослойного персептрона с пятью

входами, тремя нейронами в скрытом слое, и одним нейроном

выходного слоя.

Персептрон представляет собой сеть, состоящую из нескольких последо-

вательно соединенных слоев формальных нейронов МакКаллока и Питтса. На

низшем уровне иерархии находится входной слой, состоящий из сенсорных

элементов, задачей которого является только прием и распространение по сети

входной информации. Далее имеются один или, реже, несколько скрытых сло-

ев. Каждый нейрон на скрытом слое имеет несколько входов, соединенных с

выходами нейронов предыдущего слоя или непосредственно со входными сен-

сорами X

..X

, и один выход. Нейрон характеризуется уникальным вектором

весовых коэффициентов w. Веса всех нейронов слоя формируют матрицу, ко-

торую мы будем обозначать V или W. Функция нейрона состоит в вычислении

взвешенной суммы его входов с дальнейшим нелинейным преобразованием ее

в выходной сигнал:

y W x

i i

= + − −













∑

1 1 exp( [ ])

(6.1)

Выходы нейронов последнего, выходного, слоя описывают результат

классификации Y=Y(X). Особенности работы персептрона состоят в следую-

щем. Каждый нейрон суммирует поступающие к нему сигналы от нейронов

предыдущего уровня иерархии с весами, определяемыми состояниями синап-

сов, и формирует ответный сигнал (переходит в возбужденное состояние), если

полученная сумма выше порогового значения. Персептрон переводит входной

образ, определяющий степени возбуждения нейронов самого нижнего уровня

иерахии, в выходной образ, определяемый нейронами самого верхнего уровня.

Число последних, обычно, сравнительно невелико. Состояние возбуждения

нейрона на верхнем уровне говорит о принадлежности входного образа к той

или иной категории.

Традиционно рассматривается аналоговая логика, при которой допусти-

мые состояния синаптических связей определяются произвольными действи-

тельными числами, а степени активности нейронов - действительными числа-

ми между 0 и 1. Иногда исследуются также модели с дискретной арифметикой,

в которой синапс характеризуется двумя булевыми переменными: активно-

стью (0 или 1) и полярностью (-1 или +1), что соответствует трехзначной логи-

ке. Состояния нейронов могут при этом описываться одной булевой перемен-

ной. Данный дискретный подход делает конфигурационное пространство со-

стояний нейронной сети конечным (не говоря уже о преимуществах при аппа-

ратной реализации).

Здесь будет в основном описываться классический вариант многослойной

сети с аналоговыми синапсами и сигмоидальной передаточной функцией ней-

ронов, определяемой формулой (6.1).

3.3.3 Обучение методом обратного распространения ошибок.

Для обучения многослойной сети в 1986 г. Руммельхартом и Хинтоном

(Rummelhart D.E., Hinton G.E., Williams R.J., 1986) был предложен алгоритм об-

ратного распостранения ошибок (error back propagation)

. Многочисленные

публикации о промышленных применениях многослойных сетей с этим алго-

ритмом обучения подтвердили его принципиальную работоспособность на

практике.

В начале возникает резонный вопрос - а почему для обучения многослой-

ного персептрона нельзя применить уже известное δ-правило Розенблатта (см.

лекцию 4)? Ответ состоит в том, что для применения метода Розенблатта необ-

ходимо знать не только текущие выходы нейронов y, но и требуемые правиль-

ные значения Y. В случае многослойной сети эти правильные значения имеют-

В том же 1986 г. аналогичный (и даже более общий) метод обучения - метод двойственного функционирова-

ния - был предложен русским ученым В.А.Охониным.

ся только для нейронов выходного слоя. Требуемые значения выходов для ней-

ронов скрытых слоев неизвестны, что и ограничивает применение δ-правила.

Основная идея обратного распространения состоит в том, как получить

оценку ошибки для нейронов скрытых слоев. Заметим, что известные ошибки,

делаемые нейронами выходного слоя, возникают вследствие неизвестных пока

ошибок нейронов скрытых слоев. Чем больше значение синаптической связи

между нейроном скрытого слоя и выходным нейроном, тем сильнее ошибка

первого влияет на ошибку второго. Следовательно, оценку ошибки элементов

скрытых слоев можно получить, как взвешенную сумму ошибок последующих

слоев. При обучении информация распространяется от низших слоев иерархии

к высшим, а оценки ошибок, делаемые сетью - в обратном напаравлении, что и

отражено в названии метода.

Перейдем к подробному рассмотрению этого алгоритма. Для упрощения

обозначений ограничимся ситуацией, когда сеть имеет только один скрытый

слой

. Матрицу весовых коэффициентов от входов к скрытому слою обозначим

W, а матрицу весов, соединяющих скрытый и выходной слой - как V. Для ин-

дексов примем следующие обозначения

: входы будем нумеровать только ин-

дексом i, элементы скрытого слоя - индексом j, а выходы, соответственно, ин-

дексом k.

Пусть сеть обучается на выборке (X

), α=1..p. Активности нейронов

будем обозначать малыми буквами y с соотвествующим индексом, а суммар-

ные взвешенные входы нейронов - малыми буквами x.

Общая структура алгоритма аналогична рассмотренной в лекции 4, с ус-

ложнением формул подстройки весов.

Таблица 6.1. Алгоритм обратного распространения ошибки.

аг 0.

Начальные значения весов всех нейро-

нов всех слоев полагаются случайными числа-

ми V(t=0) и W(t=0).

аг 1.

Сети предъявляется входной образ X

, в

результате формируется выходной образ y≠Y

. При этом нейроны последовательно от слоя к

слою функционируют по следующим форму-

лам:

скрытый слой

x W X y f x

j ij i j j

= =

∑

∑∑

∑

αα

; ( )

В соотвествии с принятой в лекции 4 терминологией, такую сеть мы будем называть двухслойной, по числу

слоев обрабатывающих нейроподобных элементов.

Хотя индексы в формулах являются “немыми”, введенные обозначения не вызовут недоразумений.

выходной слой

x V y y f x

k jk j k k

= =

∑

∑∑

∑

; ( )

Здесь f(x) - сигмоидальная функция, оп-

ределяемая по формуле (6.1)

аг 2.

Функционал квадратичной ошибки сети

для данного входного образа имеет вид:

(

((

(

)

))

)

E y Y

k k

= −

−−

−

∑

∑∑

∑

1 2

αα

Данный функционал подлежит миними-

зации. Классический градиентный метод оп-

тимизации состоит в итерационном уточнении

аргумента согласно формуле:

t V t h

jk jk

( ) ( )+

+ =

= −

−−

− ⋅

⋅⋅

⋅1

∂

∂∂

∂

∂∂

∂

Функция ошибки в явном виде не со-

держит зависимости от веса V

, поэтому вос-

пользуемся формулами неявного дифференци-

рования сложной функции:

(

((

( )

))

)

∂

∂∂

∂

∂∂

∂

δδ

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

δδ

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

δδ

αα

y Y

y y

y y y

k k k

k k

k k k

jk k

k k k j

= =

= −

−−

−

= ⋅

⋅⋅

⋅ =

= ⋅

⋅⋅

⋅ −

−−

−

= ⋅

⋅⋅

⋅ ⋅

⋅⋅

⋅ =

= ⋅

⋅⋅

⋅ −

−−

− ⋅

⋅⋅

⋅

;

( )

Здесь учтено полезное свойство сигмои-

дальной функции f(x): ее производная выража-

ется только через само значение функции,

f’(x)=f(1-f). Таким образом, все необходимые

величины для подстройки весов выходного

слоя V получены.

аг 3.

На этом шаге выполняется подстройка

весов скрытого слоя. Градиентный метод по-

прежнему дает:

t W t h

ij ij

( ) ( )+

+ =

= −

−−

− ⋅

⋅⋅

⋅1

∂

∂∂

∂

∂∂

∂

Вычисления производных выполняются

по тем же формулам, за исключением некото-

рого усложнения формулы для ошибки δ

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

δδ

∂

∂∂

∂

∂∂

∂

δδ

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

δδ

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

∂∂

∂

δδ

αα

y y

y y V

y y X

y y V y y X

k k

k k k

k k k jk

ij j

j j j i

k k k jk j j i

= ⋅

⋅⋅

⋅ =

= ⋅

⋅⋅

⋅ −

−−

−

= =

= ⋅

⋅⋅

⋅ =

= ⋅

⋅⋅

⋅ −

−−

− ⋅

⋅⋅

⋅

= ⋅

⋅⋅

⋅ ⋅

⋅⋅

⋅ =

= ⋅

⋅⋅

⋅ −

−−

− ⋅

⋅⋅

⋅ =

= ⋅

⋅⋅

⋅ −

−−

− ⋅

⋅⋅

⋅ ⋅

⋅⋅

⋅ −

−−

− ⋅

⋅⋅

⋅

∑

∑∑

∑

∑∑

∑

∑∑

∑

( )

( ) ;

( )

[ ( ) ] [ ( ) ]

1 1

При вычислении δ

здесь и был приме-

нен принцип обратного распространения

ошибки: частные производные берутся только

по переменным последующего слоя. По полу-

ченным формулам модифицируются веса ней-

ронов скрытого слоя. Если в нейронной сети

имеется несколько скрытых слоев, процедура

обратного распространения применяется по-

следовательно для каждого из них, начиная со

слоя, предшествующего выходному, и далее

до слоя, следующего за входным. При этом

формулы сохраняют свой вид с заменой эле-

ментов выходного слоя на элементы соотвест-

вующего скрытого слоя.

аг 4.

Шаги 1-3 повторяются для всех обу-

чающих векторов. Обучение завершается по

достижении малой полной ошибки или макси-

мально допустимого числа итераций, как и в

методе обучения Розенблатта.

Как видно из описания шагов 2-3, обучение сводится к решению задачи

оптимизации функционала ошибки градиентным методом. Вся “соль” обратно-

го распространения ошибки состоит в том, что для ее оценки для нейронов

скрытых слоев можно принять взвешенную сумму ошибок последующего слоя.

Параметр h имеет смысл темпа обучения и выбирается достаточно малым

для сходимости метода. О сходимости необходимо сделать несколько дополни-

тельных замечаний. Во-первых, практика показывает что сходимость метода

обратного распространения весьма медленная. Невысокий тепм сходимости яв-

ляется “генетической болезнью” всех градиентных методов, так как локальное

направление градиента отнюдь не совпадает с направлением к минимуму. Во-

вторых, подстройка весов выполняется независимо для каждой пары образов

обучающей выборки. При этом улучшение функционирования на некоторой за-

данной паре может, вообще говоря, приводить к ухудшению работы на преды-

дущих образах. В этом смысле, нет достоверных (кроме весьма обширной

практики применения метода) гарантий сходимости.

Исследования показывают, что для представления произвольного функ-

ционального отображения, задаваемого обучающей выборкой, достаточно всего

два слоя нейронов. Однако на практике, в случае сложных функций, использо-

вание более чем одного скрытого слоя может давать экономию полного числа

нейронов.

В завершение лекции сделаем замечание относительно настройки поро-

гов нейронов. Легко заметить, что порог нейрона может быть сделан эквива-

лентным дополнительному весу, соединенному с фиктивным входом, равным -

1. Действительно, выбирая W

=Θ, x

=-1 и начиная суммирование с нуля, можно

рассматривать нейрон с нулевым порогом и одним дополнительным входом:

y f W x f W x

f W x W x f W x

i i

= −

−−

− =

= +

+ −

−−

− ⋅

⋅⋅

⋅ =

= +

+ =

= =

∑

∑∑

∑ ∑

∑∑

∑

∑∑

∑ ∑

∑∑

∑

( ) ( ( ) ( ))

( ) ( )

ΘΘ

Θ Θ

ΘΘ

1 1

0 0

1 0

Дополнительные входы нейронов, соотвествующие порогам, изображены

на Рис. 6.1 темными квадратиками. С учетом этого замечания, все изложенные

в алгоритме обратного распространения формулы суммирования по входам на-

чинаются с нулевого индекса.

3.4 Другие иерархические архитектуры.

Командные нейроны и нейроны-детекторы Гроссберга.

Принцип "Победитель Забирает Все" (WTA). Модель Липп-

мана-Хемминга. Карта самоорганизации Кохонена. Сети

встречного распространения.

В этой лекции будут рассмотрены различные компоненты однородных

(состоящих из нейронов одного типа) и неоднородных нейронных сетей. Неко-

торые преимущества иерархических архитектур - более развитая способность к

обобщению, отсутствие жестких ограничений на типы представимых отобра-

жений с сохранением простоты нейронной функции и свойства массивной па-

раллельности при обработке информации - уже были нами изучены на лекции,

посвященной многослойному персептрону с обучением методом обратного

распространения ошибок. Теперь мы познакомимся с иными подходами к по-

строению нейросетей и методам обучения, и в частности, с методом обучения

без учителя на основе самоорганизации.

3.4.1 Звезды Гроссберга

Идеи, отраженные в исследованиях Стефана Гроссберга на заре биологи-

ческой кибернетики, положены в основу многих последующих нейросетевых

разработок. Поэтому мы начинаем наше рассмотрение иерархических архитек-

тур с конфигураций входных и выходных звезд Гроссберга (S. Grossberg, 1969).

Нейрон в форме входной звезды имеет N входов X

1..N

, которым соответ-

ствуют веса W

1..N

, и один выход Y, являющийся взвешенной суммой входов.

Входная звезда обучается выдавать сигнал на выходе всякий раз, когда на вхо-

ды поступает определенный вектор. Таким образом, входная звезда является

детектором совокупного состояния своих входов. Процесс обучения представ-

ляется в следующей итерационной форме:

(

)

W t W t X W t

i i i i

( ) ( ) ( )+ = + −1

Темп обучения α имеет начальное значение масштаба 0.1 и постепенно

уменьшается в процессе обучения. В процессе настройки нейрон учится усред-

ненным обучающим векторам.

Выходная звезда Гроссберга выполняет противоположную функцию -

функцию командного нейрона, выдавая на выходах определенный вектор при

поступлении сигнала на вход. Нейрон этого типа имеет один вход и M выходов

с весами W

1..M

, которые обучаются по формуле:

(

)

W t W t Y W t

i i i i

( ) ( ) ( )+ = + −1

Рекомендуется начать c β порядка единицы и постепенно уменьшать до

нуля в процессе обучения. Итерационный процесс будет сходиться к собира-

тельному образу, полученному из совокупности обучающих векторов.

Особенностью нейронов в форме звезд Гроссберга является локальность

памяти. Каждый нейрон в форме входной звезды помнит "свой" относящийся к

нему образ и игнорирует остальные. Каждой выходной звезде присуща также

конкретная командная функция. Образ памяти связывается с определенным

нейроном, а не возникает вследствие взаимодействия множества нейронов в се-

ти.

3.4.2 Принцип Winner Take All (WTA) - Победитель Забирает Все - в модели

Липпмана-Хемминга.

Рассмотрим задачу о принадлежности образа ξ

ξξ

ξ некоторому классу X

определяемому заданными библиотечными образами x

. Каждый из заданных

образов обучающей выборки непосредственно определяет свой собственный

класс, и таким образом, задача сводится к поиску "ближайшего" образа. В слу-

чае двух двоичных (0-1) образов расстояние между ними может быть определе-

но по Хеммингу, как число несовпадающих компонент. Теперь после вычисле-

ния всех попарных расстояний

ρ ρ ξ

= ( , )x

искомый класс определяется по

наименьшему из них.

Нейросетевое решение этой задачи может быть получено на основе архи-

тектуры Липпмана-Хемминга (Lippman R., 1987). Сеть имеет один слой одина-

ковых нейронов, число которых равно количеству классов. Таким образом, ка-

ждый нейрон "отвечает" за свой класс. Каждый нейрон связан с каждым из вхо-

дов, число которых равно размерности рассматриваемых библиотечных обра-

зов. Веса связей полагаются равными нормированным библиотечным образам:

x x

∑

/ ( )

Здесь

- значение веса связи от n-го входа к m-му нейрону (см.

рис.7.1.). Процесс поступления информации о векторе ξ

ξξ

ξ в нейронную сеть явля-

ется безитерационным. При этом входной вектор сначала нормируется:

n n i

∑

ξ ξ

/ ( )

и нейроны принимают начальные уровни активности:

y f s W

n n

( ) ( / )0 1 2= −













∑

Здесь f(x) - переходная функция (функция активации) нейрона, которая

выбирается равной нулю при x<0, и f(x)=x при x>0. Пороги Θ полагаются

обычно равными нулю.

........

Рис. 7.1. Нейронная сеть Липпмана-Хемминга.

При поступлении входного вектора начальное возбуждение получают все

нейроны, скалярное произведение векторов памяти которых с входным векто-

ром превышает порог. В дальнейшем среди них предстоит выбрать один, для

которого оно максимально. Это достигается введением дополнительных обрат-

ных связей между нейронами, устроенных по принципу "латерального тормо-

жения". Каждый нейрон получает тормозящее (отрицательное) воздействие со

стороны всех остальных нейронов, пропорционально степени их возбуждения,

и испытывает возбуждающее (положительное) воздействие самого на себя. Ве-

са латеральных связей в нейронном слое нормируются таким образом, что сум-

марный сигнал является возбуждающим только для нейрона с максимальной

исходной активностью. Остальные нейроны испытывают торможение:

y t f y t M y t

m m n

n m

( ) ( ) ( / ( )) ( )+ = − +













≠

∑

1 1 1

По выполнении некоторого числа итераций t для всех нейронов кроме

одного значение аргумента функции f(x) становится отрицательным, что обра-

щает их активность y

в нуль. Единственный, оставшийся активным, нейрон

является победителем. Он и указывает на тот класс, к которому принадлежит

введенный образ. Такой механизм получил название "Победитель-Забирает-

Все" ( Winner Take All - WTA ). Механизм WTA используется и в других ней-

росетевых архитектурах. Заложенный в его основе принцип латерального тор-

можения имеет глубокие биологические основания и весьма широко распро-

странен в нейронных сетях живых организмов.

Нейросетевая парадигма Липпмана-Хемминга является моделью с пря-

мой структурой памяти. Информация, содержащаяся в библиотечных образах

никак не обобщается, а непосредственно запоминается в синаптических связях.

Память здесь не является распределенной, так как при выходе из строя одного

нейрона полностью теряется информация обо всем соответствующем ему обра-

зе памяти.

3.4.3

Карта самоорганизации Кохонена.

В противоположность хемминговой сети модель Кохонена (T.Kohonen,

1982) выполняет обобщение пред'являемой информации. В результате работы

НС Кохонена получается образ, представляющий собой карту распределения

векторов из обучающей выборки. Таким образов, в модели Кохонена выполня-

ется решение задачи нахождения кластеров в пространстве входных образов.

Данная сеть обучается без учителя на основе самоорганизации. По мере

обучении вектора весов нейронов стремятся к центрам кластеров - групп векто-

ров обучающей выборки. На этапе решения информационных задач сеть отно-

сит новый пред'явленный образ к одному из сформированных кластеров, ука-

зывая тем самым категорию, к которой он принадлежит.

Рассмотрим архитектуру НС Кохонена и правила обучения подробнее.

Сеть Кохонена, также как и сеть Липпмана-Хемминга, состоит из одного слоя