Пятковский О.И. Интеллектуальные информационные системы (нейронные сети)

Подождите немного. Документ загружается.

нейронов. Число входов каждого нейрона равно размерности входного образа.

Количество же нейронов определяется той степенью подробности с которой

требуется выполнить кластеризацию набора библиотечных образов. При доста-

точном количестве нейронов и удачных параметрах обучения НС Кохонена

может не только выделить основные группы образов, но и установить "тонкую

структуру" полученных кластеров. При этом близким входным образам будет

соответствовать близкие карты нейронной активности.

Рис. 7.2. Пример карты Кохонена. Размер каждого квадратика соответст-

вует степени возбуждения соответствующего нейрона.

Обучение начинается с задания случайных значений матрице связей

В дальнейшем происходит процесс самоорганизации, состоящий в модифика-

ции весов при пред'явлении на вход векторов обучающей выборки. Для каждо-

го нейрона можно определить его расстояние до вектора входа:

(

((

( )

))

)

d x t W t

m i i

= −

−−

−

∑

∑∑

∑

( ) ( )

Далее выбирается нейрон m=m

, для которого это расстояние минималь-

но. На текущем шаге обучения t будут модифицироваться только веса нейронов

из окрестности нейрона m

(

)

W t W t x t W

n n

( ) ( ) ( )

+ = + −

Первоначально в окрестности любого из нейронов находятся все нейро-

ны сети, в последствии эта окрестность сужается. В конце этапа обучения под-

страиваются только веса самог`о ближайшего нейрона. Темп обучения η(t)<1 с

течением времени также уменьшается. Образы обучающей выборки

пред'являются последовательно, и каждый раз происходит подстройка весов.

Нейронная сеть Кохонена может обучаться и на искаженных версиях входных

векторов, в процессе обучения искажения, если они не носят систематический

характер, сглаживаются.

Для наглядности представления карты нейроны Кохонена могут быть

упорядочены в двумерную матрицу, при этом под окрестностью нейрона-

победителя принимаются соседние (по строкам и столбцам) элементы матрицы.

Результирующую карту удобно представить в виде двумерного изображения,

на котором различные степени возбуждения всех нейронов отображаются квад-

ратами различной площади. Пример карты, построенной по 100 нейронам Ко-

хонена, представлен на рис.7.2.

Каждый нейрон несет информацию о кластере - сгустке в пространстве

входных образов, формируя для данной группы собирательный образ. Таким

образом НС Кохонена способна к обобщению. Конкретному кластеру может

соответствовать и несколько нейронов с близкими значениями векторов весов,

поэтому выход из строя одного нейрона не так критичен для функционирова-

ния НС Кохонена, как это имело место в случае хемминговой сети.

3.4.4 Нейронная сеть встречного распространения.

Архитектура встречного распространения (counter propagation) удачно

об'единяет в себе преимущества возможности обобщения информации сети Ко-

хонена и простоту обучения выходной звезды Гроссберга. Создатель сети

встречного распространения Р.Хехт-Нильсен (R.Hecht-Nielsen, 1987) рекомен-

дует использование этой архитектуры для быстрого моделирования систем на

начальных этапах исследований с дальнейшим переходом, если это потребует-

ся, на значительно более дорогой, но более точный метод обучения с обратным

распространением ошибок.

НС встречного распространения (ВР) обучается на выборке пар векторов

(X,Y)

задаче представления отображения X→Y. Замечательной особенностью

этой сети является способность обучению также и отображению совокупности

XY в себя. При этом, благодаря обобщению, появляется возможность восста-

новления пары (XY) по одной известной компоненте (X или Y). При

пред'явлении на этапе распознавания только вектора X (с нулевым начальным

Y) производится прямое отображение - восстанавливается Y, и наоборот, при

известном Y может быть восстановлен соответствующий ему X. Возможность

решения как прямой, так и обратной задачи, а также гибридной задачи по вос-

становлению отдельных недостающих компонент делает данную нейросетевую

архитектуру уникальным инструментом.

Сеть ВР состоит из двух слоев нейронов (см. Рис.7.3.) - слоя Кохонена и

слоя Гроссберга. В режиме функционирования (распознавания) нейроны слоя

Кохонена работают по принципу Победитель-Забирает-Все, определяя кластер,

к которому принадлежит входной образ. Затем выходная звезда слоя Гроссбер-

га по сигналу нейрона-победителя в слое Кохонена воспроизводит на выходах

сети соответствующий образ.

....

Входы X Входы Y

Выходы X Выходы Y

Слой Кохонена

Слой Гроссберга

Рис. 7.3. Архитектура сети встречного распространения (для упрощения

изображения показаны не все связи).

Обучение весов слоя Кохонена выполняется без учителя на основе само-

организации (см. предыдущий пункт). Входной вектор (аналоговый) вначале

нормируется, сохраняя направление. После выполнения одной итерации обуче-

ния определяется нейрон победитель, состояние его возбуждения устанавлива-

ется равным единице, и теперь могут быть модифицированы веса соответст-

вующей ему звезды Гроссберга. Темпы обучения нейронов Кохонена и Гросс-

берга должны быть согласованы . В слое Кохонена обучаются веса всех нейро-

нов в окрестности победителя, которая постепенно сужается до одного нейрона.

Обученная нейронная сеть ВР может функционировать и в режиме ин-

терполяции, когда в слое Кохонена оставляется не один, а несколько победите-

лей. Тогда уровни их активности пропорционально нормируются, чтобы в сум-

ме составлять единицу, а выходной вектор определяется по сумме выходных

векторов каждой из активных звезд Гроссберга. Таким образом НС производит

линейную интерполяцию между значениями выходных векторов, отвечающих

нескольким кластерам. Однако режим интерполяции в сети встречного распро-

странения изучен не столь достаточно, чтобы можно было рекомендовать его

широкое использование.

3.5 Модель Хопфилда.

Конфигурация и устойчивость сетей с обратными свя-

зями. Модель Хопфилда. Правило обучения Хебба. Ассоциа-

тивная память. Распознавание образов.

Модель Хопфилда (J.J.Hopfield, 1982) занимает особое место в ряду ней-

росетевых моделей. В ней впервые удалось установить связь между нелиней-

ными динамическими системами и нейронными сетями. Образы памяти сети

соответствуют устойчивым предельным точкам (аттракторам) динамической

системы. Особенно важной оказалась возможность переноса математического

аппарата теории нелинейных динамических систем (и статистической физики

вообще) на нейронные сети. При этом появилась возможность теоретически

оценить об'ем памяти сети Хопфилда, определить область параметров сети, в

которой достигается наилучшее функционирование.

В этой лекции мы последовательно начнем рассмотрение с общих

свойств сетей с обратными связями, установим правило обучения для сети

Хопфилда (правило Хебба), и затем перейдем к обсуждению ассоциативных

свойств памяти этой нейронной сети при решении задачи распознавания обра-

зов.

3.5.1 Сети с обратными связями

Рассмотренный нами ранее ПЕРСЕПТРОН относится к классу сетей с на-

правленным потоком распространения информации и не содержит обратных

связей. На этапе функционирования каждый нейрон выполняет свою функцию -

передачу возбуждения другим нейронам - ровно один раз. Динамика состояний

нейронов является безитерационной.

Несколько более сложной является динамика в сети Кохонена. Конку-

рентное соревнование нейронов достигается путем итераций, в процессе кото-

рых информация многократно передается между нейронами.

В общем случае может быть рассмотрена нейронная сеть (см. Рис. 8.1),

содержащая произвольные обратные связи, по которым переданное возбужде-

ние возвращается к данному нейрону, и он повторно выполняет свою функцию.

Наблюдения за биологическими локальными нейросетями указывают на нали-

чие множественных обратных связей. Нейродинамика в таких системах стано-

вится итерационной. Это свойство существенно расширяет множество типов

нейросетевых архитектур, но одновременно приводит к появлению новых про-

блем.

A B

Рис. 8.1. Фрагменты сетей с прямым рапространением (A) и с наличием

обратных связей (B).

Безитерационная динамика состояний нейронов является, очевидно, все-

гда устойчивой. Обратные связи могут приводить к возникновению неустойчи-

востей, подобно тем, которые возникают в усилительных радитехнических

системах при положительной обратной связи. В нейронных сетях неустойчи-

вость проявляется в блуждающей смене состояний нейронов, не приводящей к

возникновению стационарных состояний. В общем случае ответ на вопрос об

устойчивости динамики произвольной системы с обратными связями крайне

сложен и до настоящего времени является открытым.

Ниже мы остановимся на важном частном случае нейросетевой архитек-

туры, для которой свойства устойчивости подробно исследованы.

3.5.2 Нейродинамика в модели Хопфилда

Рассмотрим сеть из N формальных нейронов, в которой степень возбуж-

дения каждого из нейронов S

, i=1..N, может принимать только два значения {-

1, +1}. Любой нейрон имеет связь со всеми остальными нейронами S

, которые

в свою очередь связаны с ним. Силу связи от i-го к j-му нейрону обозначим как

В модели Хопфилда предполагается условие симметричности связей

, с нулевыми диагональными элементами W

=0. К сожалению, это ус-

ловие имеет весьма отдаленное отношение к известным свойствам биологиче-

ских сетей, в которых, наоборот, если один нейрон передает возбуждение дру-

гому, то тот, в большинстве случаев, непосредственно не связан с первым. Од-

нако именно симметричность связей, как будет ясно из дальнейшего, сущест-

венно влияет на устойчивость динамики.

Изменение состояния каждого нейрона S

в модели Хопфилда происходит

по известному правилу для формальных нейронов МакКаллока и Питтса. По-

ступающие на его входы сигналы S

в момент t взвешиваются с весами матрицы

связей W

и суммируются, определяя полный уровень силы входного сигнала:

h W S

j ij i

i j

≠

≠≠

≠

∑

∑∑

∑

Далее в момент t+1 нейрон изменяет состояние своего возбуждения в за-

висимости от уровня сигнала h и индивидуального порога каждого нейрона T:

S t h t T

S t S t h t T

j j j

j j j j

( ) , ( )

( ) ( ), ( )

+ =

= −

−−

− <

+ =

= +

+ >

+ =

= =































1 1

Изменение состояний возбуждения всех нейронов может происходить

одновременно, в этом случае говорят о параллельной динамике. Рассматривает-

ся также и последовательная нейродинамика, при которой в данный момент

времени происходит изменение состояния только одного нейрона. Многочис-

ленные исследования показали, что свойства памяти нейронной сети практиче-

ски не зависят от типа динамики

. При моделировании нейросети на обычном

компьютере удобнее последовательная смена состояний нейронов. В аппарат-

ных реализациях нейросетей Хопфилда применятся параллельная динамика.

Совокупность значений возбуждения всех нейронов S

в некоторый мо-

мент времени образует вектор состояния S сети. Нейродинамика приводит к

изменению вектора состояния S(t). Конец вектора состояния описывает траек-

торию в пространстве состояний нейросети. Это пространство для сети с дву-

мя уровнями возбуждения каждого нейрона, очевидно, представляет собой

множество вершин гиперкуба размерности, равной числу нейронов N. Возмож-

ные наборы значений координат вершин гиперкуба (см. Рис.8.2) и определяют

возможные значения вектора состояния.

S(-1,-1,-1,-1)

S(1,1,1,1)

S(1,1,-1,-1)

Рис. 8.2. Проекция 4-х мерного гиперкуба на плоскость. Указанные на ри-

сунке три точки служат примерами возможных состояний нейронной сети из 4-

х нейронов.

Нужно отметить, что последовательная динамика в сети Хопфилда всегда приводит к одному устойчи-

вому состоянию, токда как параллельная динамика может закончиться циклом из пары сменяющих друг друга

состояний.

Рассмотрим теперь проблему устойчивости динамики изменения состоя-

ний. Поскольку на каждом временном шаге некоторый нейрон i изменяет свое

состояние в соответствии со знаком величины (h

- T

), то приведенное ниже

соотношение всегда неположительно:

(

((

(

)

))

)

(

((

(

)

))

)

∆

∆∆

∆E S t S t h T

i i i i i

= −

−−

− +

+ −

−−

− ⋅

⋅⋅

⋅ −

−−

− ≤

≤≤

≤( ) ( )1 0

Таким образом, оответствующая величина E, являющаяся суммой от-

дельных значений E

, может только убывать, либо сохранять свое значение в

процессе нейродинамики.

E W S S S T

ij i j i i

ij ii

= −

−−

− +

∑

∑∑

∑

∑∑

∑

∑∑

∑

≠

≠≠

≠

1 2

Введенная таким образом величина E является функцией состояния

E=E(S) и называется энергетической функцией (энергией) нейронной сети

Хопфилда. Поскольку она обладает свойством невозрастания при динамике се-

ти

, то одновременно является для нее функцией Ляпунова (А.М. Ляпунов,

1892). Поведение такой динамической системы устойчиво при любом исходном

векторе состояния S(t=0) и при любой симметричной матрице связей W с нуле-

выми диагональными элементами

. Динамика при этом заканчивается в одном

из минимумов функции Ляпунова, причем активности всех нейронов будут

совпадать по знаку с входными сигналами h.

Поверхность энергии E(S) в пространстве состояний имеет весьма слож-

ную форму с большим количеством локальных минимумов, образно напоминая

стеганое одеяло. Стационарные состояния, отвечающие минимумам, могут ин-

терпретироваться, как образы памяти нейронной сети. Эволюция к такому об-

разу соотвествует процессу извлечения из памяти. При произвольной матрице

связей W образы также произвольны. Для записи в память сети какой-либо ос-

мысленной информации требуется определенное значение весов W, которое

может получаться в процессе обучения.

3.5.3 Правило обучения Хебба

Правило обучения для сети Хопфилда опирается на исследования До-

нальда Хебба (D.Hebb, 1949), который предположил, что синаптическая связь,

соединяющая два нейрона будет усиливатьося, если в процессе обучения оба

нейрона согласованно испытывают возбуждение либо торможение. Простой ал-

горитм, реализующий такой механизм обучения, получил название правила

Хебба. Рассмотрим его подробно.

Функция E также является и ограниченной, в силу конечности каждого из сомножителей и слагаемых.

Это утверждение составляет содержание теоремы Коэна-Гроссберга (M.Cohen, S.Grossberg, 1983).

Пусть задана обучающая выборка образов ξ

ξξ

, α=1..p. Требуется постро-

ить процесс получения матрицы связей W, такой, что соответствующая ней-

ронная сеть будет иметь в качестве стационарных состояний образы обучаю-

щей выборки (значения порогов нейронов T обычно полагаются равными ну-

лю).

В случае одного обучающего образа правило Хебба приводит к требуе-

мой матрице:

ij i j

= ⋅

⋅⋅

⋅

ξξ

ξ ξ

ξξ

Покажем, что состояние S=ξ является стационарным для сети Хопфилда с

указанной матрицей. Действительно, для любой пары нейронов i и j энергия их

взаимодействия в состоянии ξ

достигает своего минимально возможного значе-

ния E

= -(1/2) ξ

= -1/2. При этом Е -полная энергия равна E=-(1/2)N

что отвечает глобальному минимуму.

Для запоминания других образов может применяется итерационный про-

цесс:

W W p

ij ij i j

( ) ( ) ( ) ( )

( )

, , . .

αα

α α

αα

α α

αα

α α

αα

ξξ

ξ ξ

ξξ

ξ α

αα

= +

+ ⋅

⋅⋅

⋅ =

= =

−

−−

−1

0 1

который приводит к полной матрице связей в форме Хебба:

ij i j

= ⋅

⋅⋅

⋅

∑

∑∑

∑

ξξ

ξ ξ

ξξ

αα

α α

αα

( ) ( )

Устойчивость совокупности образов не столь очевидна, как в случае од-

ного образа. Ряд исследований показывает, что нейронная сеть, обученная по

правилу Хебба, может в среднем, при больших размерах сети N, хранить не бо-

лее чем p ≈ 0.14 N различных образов. Устойчивость может быть показана для

совокупности ортогональных образов, когда

( )

( ) ( )

j j

ξξ

ξ ξ

ξξ

ξ δ

δδ

αα

α β

ββ

αα

α β

ββ

αα

α β

ββ

αβ

αβαβ

αβ

⋅

⋅⋅

⋅ =

= =

≠

≠≠

≠



















∑

∑∑

∑

В этом случае для каждого состояния ξ

ξξ

произведение суммарного входа

i-го нейрона h

на величину его активности S

=ξ

оказывается положительным,

следовательно само состояние ξ

ξξ

является состоянием притяжения (устойчи-

вым аттрактором):

h N

i i i j j i

⋅

⋅⋅

⋅ =

= ⋅

⋅⋅

⋅ =

= >

∑

∑∑

∑

∑∑

∑

ξξ

ξ ξ

ξξ

ξ ξ

ξξ

ξ ξ

ξξ

ξ ξ

ξξ

αα

ββ

β β

ββ

αα

α α

αα

ββ

[( ) ] 0

Таким образом, правило Хебба обеспечивает устойчивость сети Хопфил-

да на заданном наборе относительно небольшого числа ортогональных образов.

В следующем пункте мы остановимся на особенностях памяти полученной

нейронной сети.

3.5.4 Ассоциативность памяти и задача распознавания образов

Динамический процесс последовательной смены состояний нейронной

сети Хопфилда завершается в некотором стационарном состоянии, являющемся

локальным минимумом энергетической функции E(S). Невозрастание энергии в

процессе динамики приводит к выбору такого локального минимума S, в бас-

сейн притяжения которого попадает начальное состояние (исходный,

пред'являемый сети образ) S

. В этом случае также говорят, что состояние S

находится в чаше минимума S.

При последовательной динамике в качестве стационарного состояния бу-

дет выбран такой образ S, который потребует минимального числа изменений

состояний отдельных нейронов. Поскольку для двух двоичных векторов мини-

мальное число изменений компонент, переводящее один вектор в другой, явля-

ется расстоянием Хемминга ρ

(S,S

), то можно заключить, что динамика сети

заканчивается в ближайшем по Хеммингу локальном минимуме энергии.

Пусть состояние S

соответствует некоторому идеальному образу памя-

ти. Тогда эволюцию от состояния S

к состоянию S можно сравнить с проце-

дурой постепенного восстановления идеального образа S

по его искаженной

(зашумленной или неполной) копии S

. Память с такими свойствами процесса

считывания информации является ассоциативной

. При поиске искаженные

части целого восстанавливаются по имеющимся неискаженным частям на ос-

нове ассоциативных связей между ними.

Ассоциативный характер памяти сети Хопфилда качественно отличает ее

от обычной, адресной, компьютерной памяти. В последней извлечение необхо-

димой информации происходит по адресу ее начальной точки (ячейки памяти).

Потеря адреса (или даже отного бита адреса) приводит к потере доступа ко

всему информационному фрагменту. При использовании ассоциативной памяти

доступ к информации производится непосредственно по ее содержанию, т.е. по

частично известным искаженным фрагментам. Потеря части информации или

ее информационное зашумление не приводит к катастрофическому ограниче-

нию доступа, если оставшейся информации достаточно для извлечения идеаль-

ного образа.

Поиск идеального образа по имеющейся неполной или зашумленной его

версии называется задачей распознавания образов. В нашей лекции особенно-

сти решения этой задачи нейронной сетью Хопфилда будут продемонстрирова-

Точнее здесь термин авто-ассоциативность, поскольку более общее понятие ассоциативности включает

также и гетеро-ассоциативность, т.е. способность к восстановления одного образа пары по известному друго-

му на основе связывающих их ассоциаций. Под ассоциативной связью вообще понимается такая связь между

частями сложной системы, природа которой не устанавливается из рассмотрения этих частей по отдельности.

Более подробную информацию можно найти в монографии Г.Николис, И.Пригожин. Познание сложно-

го.М.Мир, 1990.

ны на примерах, которые получены с использованием модели сети на персо-

нальной ЭВМ.

В рассматриваемой модели сеть содержала 100 нейронов, упорядоченных

в матрицу 10×10. Сеть обучалась по правилу Хебба на трех идеальных образах -

шрифтовых начертаниях латинских букв M, A и G (Рис. 8.3.). После обучения

нейросети в качестве начальных состояний нейронов пред'являлись различные

искаженные версии образов, которые в дальнейшем эволюционировали с по-

следовательной динамикой к стационарным состояниям.

Рис. 8.3. Идеальные образы обучающей выборки. Темные квадратики со-

ответствуют нейронам в состоянии +1, светлые -1.

Для каждой пары изображений на рисунках этой страницы, левый образ

является начальным состоянием, а правый - результатом работы сети - достиг-

нутым стационарным состоянием.

А Б

Рис. 8.4. (A) - Один из идеальных образов является стационарной точкой.

(Б) - Образ, заданный другим шрифтом, удачно распознается.

А Б

Рис. 8.5. (A,Б) - Образы с информационным шумом удачно распознаются.