Пятковский О.И. Интеллектуальные информационные системы (нейронные сети)

Подождите немного. Документ загружается.

101

1. Непосредственным вычислением убедиться, что все образы обучающей

выборки являются устойчивыми состояниями сети с ортогонализацией матри-

цы Хебба.

2. Для задачи комивояжера получить представление E(S) целевой функ-

ции в форме функции Ляпунова.

3. Вывести энергетическую функцию сети Хопфилда для задачи опти-

мального размещенния смесей кода и данных в многопроцессорной архитекту-

ре “гиперкуб”.

Решение (Терехов С.А., Олейников П.В., 1994). В многопроцессорной

ЭВМ этой архитектуры процессоры расположены в вершинах многомерного

куба. Каждый процессор связан с ближайшими к нему узлами. На каждый про-

цессор назначается некоторый фрагмент кода программы и локальные данные.

В процессе вычислений процессоры обмениваются информацией, при этом

скорость выполнения программ замедляется. Время, затрачиваемое на пере-

сылку сообщения тем больше, чем дальше обменивающиеся процессоры распо-

ложены друг от друга.Требуется так разместить смеси кода и данных по реаль-

ным процессорам, чтобы максимально снизить потери на обмены информаци-

ей.

Как и в задаче комивояжера, обозначим процессоры заглавными буквами,

а номера смесей - латинскими индексами. Если d

- расстояние между процес-

сорами, измеренное вдоль ребер гиперкуба (Хеммингово расстояние), а D

объем передаваемой информации между смесями i и j, то искомое решение

должно минимизировать сумму ∑d

. Поэтому целевая функция представля-

ется в виде:

E(S) = E

+ (η/2) ∑

∑

)

Это выражение далее приводится к форме функции Ляпунова. Численные

эксперименты с гиперкубами размерности 3, 4 и 5 показывают, что применение

нейросетевого подхода позволяет получить умешение числа информационных

обменов (и, соотвественно, повысить производительность ЭВМ) для некоторых

задач в полтора раза.

3.7 НЕОКОГНИТРОН Фукушимы.

КОГНИТРОН и НЕОКОГНИТРОН Фукушимы. Прави-

ла обучения. Инвариантное распознавание образов НЕ-

ОКОГНИТРОНОМ.

102

В этой лекции мы переходим к рассмотрению некоторых относительно

новых современных архитектур, среди которых прежде всего следует отметить

НЕОКОГНИТРОН и его модификации. В следующей лекции будут обсуждать-

ся варианты сетей, построенных на теории адаптивного резонанса (АРТ).

3.7.1 КОГНИТРОН: самоорганизующаяся многослойная нейросеть.

Создание КОГНИТРОНА (K.Fukushima, 1975) явилось плодом синтеза

усилий нейрофизиологов и психологов, а также специалистов в области нейро-

кибернетики, совместно занятых изучением системы восприятия человека.

Данная нейронная сеть одновременно является как моделью процессов воспри-

ятия на микроуровне, так и вычислительной системой, применяющейся для

технических задач распознавания образов.

КОГНИТРОН состоит из иерархически связанных слоев нейронов двух

типов - тормозящих и возбуждающих. Состояние возбуждения каждого нейро-

на определяется суммой его тормозящих и возбуждающих входов. Синаптиче-

ские связи идут от нейронов одного слоя (далее слоя 1) к следующему (слою 2).

Относительно данной синаптической связи соотвествующий нейрон слоя 1 яв-

ляется пресинаптическим, а нейрон второго слоя - постсинаптическим. Постси-

наптические нейроны связаны не со всеми нейронами 1-го слоя, а лишь с теми,

которые принадлежат их локальной области связей. Области связей близких

друг к другу постсинаптических нейронов перекрываются, поэтому активность

данного пресинаптического нейрона будет сказываться на все более расши-

ряющейся области постсинаптических нейронов следующих слоев иерархии.

Вход возбуждающего постсинаптического нейрона (на Рис. 10.1 - нейрон

i) определяется суммы E его возбуждающих входов (a

, a

и a

) к сумме I тор-

мозящих входов (b

и вход от нейрона X):

E a u I b v

j j j j

= =

∑

∑∑

∑

∑∑

∑

где u - возбуждающие входы с весами a, v-тормозящие входы с весами b.

Все веса имеют положительные значения. По значениям E и I вычисляется

суммарное воздействие на i-й нейрон: net

=((1+E)/(1+I))-1 . Его выходная ак-

тивность u

затем устанавливается равной net

, если net

>0. В противном случае

выход устанавливается равным нулю. Анализ формулы для суммарного воздей-

ствия показывает, что при малом торможении I оно равно разности возбуж-

дающего и тормозящего сигналов. В случае же когда оба эти сигнала велики,

воздействие ограничивается отношением. Такие особенности реакции соответ-

ствуют реакциям биологических нейронов, способных работать в широком

диапазоне воздействий.

103

Слой 1 Слой 2

c3 b1

нейрон i

Рис. 10.1. Постсинаптический нейрон i слоя 2 связан с тремя нейронами в

области связей (1,2 и 3) слоя 1 и двумя тормозящими нейронами (показаны

темным цветом). Тормозящий нейрон X реализует латеральное торможение в

области конкуренции нейрона i.

Пресинаптические тормозящие нейроны имеют ту же область связей, что

и рассматриваемый возбуждающий постсинаптический нейрон i. При этом веса

таких тормозящих нейронов (c

, c

и c

) являются заданными и не изменяются

при обучении. Их сумма равна единице, таким образом, выход тормозного пре-

синаптического нейрона равен средней активности возбуждающих пресинапти-

ческих нейронов в области связей:

v c u

i j j

∑

∑∑

∑

Обучение весов возбуждающих нейронов происходит по принципу "по-

бедитель забирает все" в области конкуренции - некоторой окрестности данного

возбуждающего нейрона. На данном шаге модифицируются только веса a

ней-

рона с максимальным возбуждением:

δδ

a qc u

i j j

где c

- тормозящий вес связи нейрона j в первом слое, u

- состояние его

возбуждения, q - коэффициент обучения. Веса тормозящего нейрона i второго

слоя модифицируются пропорционально отношению суммы возбуждающих

входов к сумме тормозящих входов:

δδ

b q a u c u

i j j

∑

∑∑

∑

∑∑

∑

( / ) /2

104

В случае, когда победителя в области конкуренции (на слое 2) нет, как

это имеет место, например в начале обучения, веса подстраиваются по другим

формулам:

δδ

δ δ

δδ

a q c u b q c u q q

i j j i k k

= =

= <

< <

∑

∑∑

∑

' ; ' ; ' 0

Данная процедура обучения приводит к дальнейшему росту возбуждаю-

щих связей активных нейронов и торможению пассивных. При этом веса каж-

дого из нейронов в слое 2 настраиваются на некоторый образ, часто

пред'являемый при обучении. Новое пред'явление этого образа вызовет высо-

кий уровень возбуждения соответсвующего нейрона, при появлении же других

образов, его активность будет малой и будет подавлена при латеральном тор-

можении.

Веса нейрона X, осуществляющего латеральное торможение в области

конкуренции, являются немодифицируемыми, их сумма равна единице. При

этом во втором слое выполняются итерации, аналогичные конкурентным ите-

рациям в сети Липпмана-Хемминга

, рассмотренной нами в 7-й лекции.

Отметим, что перекрывающиеся области конкуренции близких нейронов

второго слоя содержат относительно небольшое число других нейронов, поэто-

му конкретный нейрон-победитель не может осуществить торможение всего

второго слоя. Следовательно, в конкурентной борьбе могут выиграть несколько

нейронов второго слоя, обеспечивая более полную и надежную переработку

информации.

В целом КОГНИТРОН представляет собой иерархию слоев, последова-

тельно связанных друг с другом, как было рассмотрено выше для пары слой 1 -

слой 2. При этом нейроны слоя образуют не одномерную цепочку, как на Рис.

10.1, а покрывают плоскость, аналогично слоистому строению зрительной коры

человека. Каждый слой реализует свой уровень обобщения информации. Вход-

ные слои чувствительны к отдельным элементарным структурам, например,

линиям определенной ориентации или цвета. Последующие слои реагируют

уже на более сложные обобщенные образы. В самом верхнем уровне иерархии

активные нейроны определяют результат работы сети - узнавание определенно-

го образа. Для каждого в значительной степени нового образа картинка актив-

ности выходного слоя будет уникальной. При этом она сохранится и при

пред'явлении искаженной или зашумленной версии этого образа. Таким обра-

зом, обработка информации КОГНИТРОНОМ происходит с формированием

ассоциаций и обобщений.

Автором КОГНИТРОНА Фукушимой эта сеть применялась для оптиче-

ского распознавания символов - арабских цифр. В экспериментах использова-

лась сеть с 4-мя слоями нейронов, упорядоченными в матрицы 12×12 с квад-

ратной областью связей каждого нейрона размером 5×5 и областью конкурен-

Предложены также и безитерационные механизмы латерального торможения.

105

ции в форме ромба с высотой и шириной 5 нейронов. Параметры обучения бы-

ли равны q=16, q'=2. В результате было получено успешное обучение системы

на пяти образах цифр (аналогичных картинкам с буквами, которые мы рассмат-

ривали для сети Хопфилда), при этом потребовалось около 20 циклов обучения

для каждой картинки.

Рис. 10.2. Смещенные друг относительно друга "одинаковые" образы

требуют для установления их "одинаковости" инвариантного относительно

произвольных сдвигов характера распознавания.

Несмотря на успешные применения и многочисленные достоинства, как

то соответствие нейроструктуры и механизмов обучения биологическим моде-

лям, параллельность и иерархичность обработки информации, распределен-

ность и ассоциативность памяти и др., КОГНИТРОН имеет и свои недостатки.

По-видимому, главным из них является не способность этой сети распознавать

смещенные или повернутые относительно их исходного положения образы. Так

например, две картинки на Рис. 10.2 с точки зрения человека несомненно яв-

ляются образами одной и той же цифры 5, однако КОГНИТРОН не в состоянии

уловить это сходство.

О распознавании образов независимо от их положения, ориентации, а

иногда и размера и других деформации, говорят как об инвариантном относи-

тельно соотвествующих преобразований распознавании. Дальнейшие исследо-

вания группы под руководством К.Фукушимы привели к развитию КОГНИ-

ТРОНА и разработке новой нейросетевой парадигмы - НЕОКОГНИТРОНА, ко-

торый способен к инвариантному распознаванию.

3.7.2 НЕОКОГНИТРОН и инвариантное распознавание образов.

Новая работа Фукушимы была опубликована в 1980 г. НЕОКОГНИТРОН

хотя и имеет много общих черт с его прародителем КОГНИТРОНОМ, но одно-

временно он претерпел значительные изменения и усложнения, в соответствии

с появлением новых нейробиологических данных (Hubel D.H., Wiesel T.N.,

1977, и др.).

НЕОКОГНИТРОН состоит из иерархии нейронных слоев, каждый из ко-

торых состоит из массива плоскостей. Каждый элемент массива состоит из па-

ры плоскостей нейронов. Первая плоскость состоит из так называемых про-

стых нейроклеток, которые получают сигналы от предыдущего слоя и выделя-

106

ют определенные образы. Эти образы далее обрабатываются сложными нейро-

нами второй плоскости, задачей которых является сделать выделенные образы

менее зависимыми от их положения.

Нейроны каждой пары плоскостей обучаются реагировать на определен-

ный образ, представленный в определенной ориентации. Для другого образа

или для нового угла поворота образа требуется новая пара плоскостей. Таким

образом, при больших об'емах информации, НЕОКОГНИТРОН представляет

собой огромную структуру с большим числом плоскостей и слоев нейронов.

Простые нейроны чувствительны к небольшой области входного образа,

называемой рецептивной областью (или что тоже самое, областью связей).

Простой нейрон приходит в возбужденное состояние, если в его рецептивной

области возникает определенный образ. Рецептивные области простых клеток

перекрываются и покрывают все изображение. Сложные нейроны получают

сигналы от простых клеток, при этом для возбуждения сложного нейрона дос-

таточно одного сигнала от любого простого нейрона. Тем самым, сложная

клетка регистрирует определенный образ независимо от того, какой из простых

нейронов выполнил детектирование, и, значит, независимо от его расположе-

ния.

По мере распространения информации от слоя слою картинка нейронной

активности становится все менее чувствительной к ориентации и распололоже-

нию образа, и, в определенных пределах, к его размеру. Нейроны выходного

слоя выполняют окончательное инвариантное распознавание.

... ... ...

плоскости сложных

клеток слоя (N-1)

Плоскости слоя (N)

простые клетки сложные клетки

к плоскостям

простых клеток

слоя (N+1)

Рис. 10.3. Общая схема НЕОКОГНИТРОНА. Области связей показаны

большими белыми кружками, а области конкуренции - маленькими темными.

107

Обучение НЕОКОГНИТРОНА аналогично уже рассмотренному обуче-

нию КОГНИТРОНА. При изменяются только синаптические веса простых кле-

ток. Тормозящие нейроны вместо средней активности нейронов в области свя-

зей используют квадратный корень из взвешенной суммы квадратов входов:

(

((

( )

))

)

v b u

i j j

∑

∑∑

∑

Такая формула для активности тормозящей клетки менее чувствительна к

размеру образа. После выбора простого нейрона, веса которого будут обучать-

ся, он рассматривается в качестве представителя слоя, и веса всех остальных

нейронов будут обучаться по тем же правилам. Таким образом, все простые

клетки обучаются одинаково, выдавая при распознавании одинаковую реакцию

на одинаковые образы.

Для уменьшения об'ема обрабатываемой информации решептивные поля

нейронов при переходе со слоя на слой расширяются, а число нейронов умень-

шается. В выходном слое на каждой плоскости остается только один нейрон,

рецептивное поле которого покрывает все поле образа предыдущего слоя. В це-

лом функционирование НЕОКОГНИТРОНА происходит следующим образом.

Копии входного изображения поступают на все плоскости простых клеток пер-

вого слоя. Далее все плоскости функционируют параллельно, передавая ин-

формацию следующему слою. По достижении выходного слоя, в котором каж-

дая плоскость содержит один нейрон, возникает некоторое окончательное рас-

пределение активности. На результат распознавания указывает тот нейрон, ак-

тивность которого оказалась максимальной. При этом существенно разным

входным изображениям будут соответствовать разные результаты распознава-

ния.

НЕОКОГНИТРОН успешно проявил себя при распознавании символов.

Нужно отметить, что структура этой сети необычайно сложна, и об'ем вычис-

лений очень велик, поэтому компьютерные модели НЕОКОГНИТРОНА будут

слишком дорогими для промышленных приложений. Возможной альтернати-

вой является, конечно, переход на аппаратные или оптические реализации, од-

нако их рассмотрение находится за рамками этой книги.

108

3.8 Теория адаптивного резонанса.

Проблема стабильности - пластичности при распозна-

вании образов. Принцип адаптивного резонаса Стефана

Гроссберга и Гейл Карпентер. Нейросетевые архитектуры

AРT.

3.8.1 Дилемма стабильности-пластичности восприятия.

Проблема стабильности-пластичности является одной из самых сложных

и трудно решаемых задач при построении искусственных систем, моделирую-

щих восприятие. Характер восприятия внешнего мира живыми организмами

(и, прежде всего, человеком) постоянно связан с решением дилеммы, является

ли некоторый образ "новой" информацией, и следовательно реакция на него

должна быть поисково-познавательной, с сохранением этого образа в памяти,

либо этот образ является вариантом "старой", уже знакомой картиной, и в этом

случае реакция организма должна соотвествовать ранее накопленному опыту.

Специальное запоминание этого образа в последнем случае не требуется. Таким

образом, восприятие одновременно пластично, адаптированно к новой инфор-

мации, и при этом оно стабильно, то есть не разрушает память о старых образ-

ах.

Рассмотренные на предыдущих лекциях нейронные системы не приспо-

соблены к решению этой задачи. Так например, многослойный персептрон,

обучающийся по методу обратного распространения, запоминает весь пакет

обучающей информации, при этом образы обучающей выборки пред'являются

в процессе обучения многократно. Попытки затем обучить персептрон новому

образу приведут к модификации синаптических связей с неконтролируемым,

вообще говоря, разрушением структуры памяти о предыдущих образах. Таким

образом, персептрон не способен к запоминанию новой информации, необхо-

димо полное переобучение сети.

Аналогичная ситуация имеет место и в сетях Кохонена и Липпмана-

Хемминга, обучающихся на основе самоорганизации. Данные сети всегда вы-

дают положительный результат при классификации. Тем самым, эти нейронные

сети не в состоянии отделить новые образы от искаженных или зашумленных

версий старых образов.

Исследования по проблеме стабильности-пластичности, выполненные в

Центре Адаптивных Систем Бостонского университета под руководством Сте-

фана Гроссберга, привели к построению теории адаптивного резонанса (АРТ) и

созданию нейросетевых архитектур нового типа на ее основе. Мы переходим к

109

рассмотрению общих положений АРТ, выдвинутых С.Гроссбергом в 1976 г. и

подробно изложенных в основополагающей работе 1987 г (S.Grossberg,

G.Carpenter, 1987).

3.8.2 Принцип адаптивного резонанса.

Привлекательной особенностью нейронных сетей с адаптивным резонан-

сом является то, что они сохраняют пластичность при запоминании новых об-

разов, и, в то же время, предотвращают модификацию старой памяти. Нейро-

сеть имеет внутренний детектор новизны - тест на сравнение пред'явленного

образа с содержимым памяти. При удачном поиске в памяти пред'явленный об-

раз классифицируется с одновременной уточняющей модификацией синапти-

ческих весов нейрона, выполнившего классификацию. О такой ситуации гово-

рят, как о возникновении адаптивного резонанса в сети в ответ на пред'явление

образа. Если резонанс не возникает в пределах некоторого заданного порогово-

го уровня, то успешным считается тест новизны, и образ воспринимается се-

тью, как новый. Модификация весов нейронов, не испытавших резонанса, при

этом не производится.

Важным понятием в теории адаптивного резонанса является так называе-

мый шаблон критических черт

информации. Этот термин показывает, что не

все черты (детали), представленные в некотором образе, являются существен-

ными для системы восприятия. Результат распознавания определяется присут-

ствием специфичных критических особенностей в образе. Рассмотрим это на

примере.

(a)

(b)

Рис. 11.1. Иллюстрация к понятию критических черт образа.

В оригинальной работе - critical feature pattern.

110

Обе пары картинок на Рис. 11.1 имеют общее свойство: в каждой из пар

черная точка в правом нижнем углу заменена на белую, а белая точка левом

нижнем углу - на черную. Такое изменение для нижней пары картинок (на ри-

сунке - пара (b)), очевидно, является не более чем шумом, и оба образа (b) яв-

ляются искаженными версиями одного и того же изображения. Тем самым, из-

мененные точки не являются для этого образа критическими.

Совершенно иная ситуация имеет место для верхней пары картинок (a).

Здесь такое же изменение точек оказывается слишком существенным для об-

раза, так что правая и левая картинки являются различными образами. Следо-

вательно, одна и та же черта образа может быть не существенной в одном слу-

чае, и критической в другом. Задачей нейронной сети будет формирование пра-

вильной реакции в обоих случаях: "пластичное" решение о появлении нового

образа для пары (a) и "стабильное" решение о совпадении картинок (b). При

этом выделение критической части информации должно получаться автомати-

чески в процессе работы и обучения сети, на основе ее индивидуального опыта.

Отметим, что в общем случае одного лишь перечисления черт (даже если

его предварительно выполнит человек, предполагая определенные условия

дальнейшей работы сети) может оказаться недостаточно для успешного функ-

ционирования искусственной нейронной системы, критическими могут ока-

заться специфические связи между несколькими отдельными чертами.

Вторым значительным выводом теории выступает необходимость само-

адатации алгоритма поиска образов в памяти. Нейронная сеть работает в посто-

янно изменяющихся условиях, так что предопределенная схема поиска, отве-

чающая некоторой структуре информации, может в дальнейшем оказаться не-

эффективной при изменении этой структуры. В теории адаптивного резонанса

это достигается введением специализированной ориентирующей системы, ко-

торая самосогласованно прекращает дальнейший поиск резонанса в памяти, и

принимает решение о новизне информации. Ориентирующая система также

обучается в процессе работы.

В случае наличия резонанса теория АРТ предполагает возможность пря-

мого доступа к образу памяти, откликнувшемуся на резонанс. В этом случает

шаблон критических черт выступает ключем-прототипом для прямого доступа.

Эти и другие особенности теории адаптивного резонанса нашли свое от-

ражение в нейросетевых архитектурах, которые получили такое же название -

АРТ.

3.8.3 Нейронная сеть AРT-1.

Имеется несколько разновидностей сетей АРТ. Исторически первой яви-

лась сеть, в дальнейшем получившая название АРТ-1 (S.Grossberg, G.Carpenter,

1987). Эта сеть ориентирована на обработку образов, содержащих двоичную

информацию. Дальнейший шаг - архитектура АРТ-2, опубликованная в том же