Пятковский О.И. Интеллектуальные информационные системы (нейронные сети)

Подождите немного. Документ загружается.

Министерство образования и науки

Российской Федерации

Государственное образовательное учреждение высшего

профессионального образования «Алтайский государственный

технический университет им. И.И. Ползунова»

О.И. Пятковский

Интеллектуальные информационные системы

(Нейронные сети)

Учебное пособие

Изд-во АлтГТУ

Барнаул 2010

УДК 658.011.56 (075.5)

Пятковский О.И. Интеллектуальные информационные системы. (Нейрон-

ные сети). Учебное пособие / Алт.гос. техн. Ун-т им. И.И. Ползунова. - Барна-

ул: Изд-во АлтГТУ, 2010.-125с.

Рассмотрены и одобрены

на заседании кафедры

Информационных систем

в экономике

Протокол № от

Оглавление

Математические модели искусственных нейронных сетей [9]............................. 6

1.1

Общие сведения о структуре биологического нейрона.....................................................6

1.2

Математическая модель искусственного нейрона ........................................................10

1.3

Математическое описание нейронной сети ..................................................................14

1.4

Стохастический нейрон ...................................................................................................19

1.5

Сравнение характеристик машины фон Неймана и нейронной сети..........................22

Разработка структуры и функций нейроимитатора как элемента

интеллектуальной информационной системы ......................................................24

2.1

Концепции применения нейросетевых компонентов в информационных системах 24

2.2

Предварительная обработка информации на этапе проектирования нейросетевых

компонентов .................................................................................................................................28

2.3

Формирование задачника для нейросети........................................................................33

2.4

Особенности формирования нейронной сети.................................................................38

2.5

Интерпретация сигналов нейронной сети.......................................................................38

2.6

Управляющая программа (исполнитель) ........................................................................40

2.7

Компонент учитель ...........................................................................................................40

2.8

Настройка параметров нейросети....................................................................................42

где ..................................................................................................................................................44

2.9

Оценка и коррекция нейросетевой модели.....................................................................45

2.10

Конструктор нейронной сети .......................................................................................46

2.11

Контрастер нейросети. ..................................................................................................49

2.12

Логически прозрачные сети, получение явных знаний .............................................50

2.13

Решение дополнительных задач с помощью нейросетевых компонентов ..............50

2.14

Разработка языка описания нейроимитатора для обмена данными .........................54

Разновидности нейронных сетей [31] ..............................................................58

3.1

ПЕРСЕПТРОН Розенблатта. ............................................................................................58

3.1.1

ПЕРСЕПТРОН Розенблатта......................................................................................58

3.1.2

Теорема об обучении персептрона...........................................................................60

3.1.3

Линейная разделимость и персептронная представляемость................................61

3.2

Свойства процессов обучения в нейронных сетях.........................................................64

3.2.1

Задача обучения нейронной сети на примерах. ......................................................64

3.2.2

Классификация и категоризация. .............................................................................66

3.2.3

Обучение нейронной сети с учителем, как задача многофакторной оптимизации.

3.3

Многослойный ПЕРСЕПТРОН........................................................................................71

3.3.1

Необходимость иерархической организации нейросетевых архитектур. ...........71

3.3.2

Многослойный ПЕРСЕПТРОН. ...............................................................................71

3.3.3

Обучение методом обратного распространения ошибок.......................................73

3.4

Другие иерархические архитектуры................................................................................77

3.4.1

Звезды Гроссберга......................................................................................................78

3.4.2

Принцип Winner Take All (WTA) - Победитель Забирает Все - в модели

Липпмана-Хемминга................................................................................................................78

3.4.3

Карта самоорганизации Кохонена............................................................................80

3.4.4

Нейронная сеть встречного распространения.........................................................82

3.5

Модель Хопфилда. ............................................................................................................84

3.5.1

Сети с обратными связями........................................................................................84

3.5.2

Нейродинамика в модели Хопфилда .......................................................................85

3.5.3

Правило обучения Хебба...........................................................................................87

3.5.4

Ассоциативность памяти и задача распознавания образов ...................................89

3.6

Обобщения и применения модели Хопфилда. ...............................................................92

3.6.1

Модификации правила Хебба...................................................................................92

3.6.2

Матрица Хебба с ортогонализацией образов..........................................................92

3.6.3

Отказ от симметрии синапсов...................................................................................93

3.6.4

Алгоритмы разобучения (забывания). .....................................................................93

3.6.5

Двунаправленная ассоциативная память.................................................................94

3.6.6

Детерминированная и вероятностная нейродинамика...........................................95

3.6.7

Применения сети Хопфилда к задачам комбинаторной оптимизации.................97

3.7

НЕОКОГНИТРОН Фукушимы. .....................................................................................101

3.7.1

КОГНИТРОН: самоорганизующаяся многослойная нейросеть..........................102

3.7.2

НЕОКОГНИТРОН и инвариантное распознавание образов. ..............................105

3.8

Теория адаптивного резонанса.......................................................................................108

3.8.1

Дилемма стабильности-пластичности восприятия...............................................108

3.8.2

Принцип адаптивного резонанса............................................................................109

3.8.3

Нейронная сеть AРT-1.............................................................................................110

3.8.4

Начальное состояние сети.......................................................................................113

3.8.5

Фаза сравнения.........................................................................................................113

3.8.6

Фаза поиска...............................................................................................................113

3.8.7

Обучение сети АРТ..................................................................................................114

3.8.8

Теоремы АРТ............................................................................................................116

3.8.9

Дальнейшее развитие АРТ: архитектуры АРТ-2 и АРТ-3. ..................................116

3.8.10

Сети АРТ-2 и АРТ-3. ...............................................................................................117

3.9

Черты современных архитектур. ...................................................................................118

3.9.1

Черты современных архитектур.............................................................................118

3.9.2

Сегодняшний день нейронауки. .............................................................................119

3.9.3

Программное и аппаратное обеспечение. Нейро-ЭВМ........................................121

Литература и учебно-методические материалы............................................123

ВВЕДЕНИЕ

Для обеспечения эффективного управления в необходимо дальнейшее

развитие комплексной автоматизации управленческой деятельности предпри-

ятия с использованием современных информационных технологий, математи-

ческого моделирования и методов искусственного интеллекта.

Разработка моделей, методов, алгоритмов и программных комплексов

для решения неформализованных задач поддержки принятия решений на осно-

ве нейросетевых компонентов для оценки и прогнозирования экономических

показателей деятельности предприятия является современной актуальной про-

блемой.

В учебном пособии представлены вопросы моделирования искусственных

нейронных сетей, описание нейросетевых компонентов в интеллектуальных систе-

мах, разновидности нейронных сетей их характеристики и алгоритмы обучения. Гла-

ва 1 составлена по материалам [9], глава 2 составлена по материалам [31],

Математические модели искусственных нейронных сетей [9]

1.1 Общие сведения о структуре биологического нейрона

Человеческий мозг содержит от10

до 10

нейронов, каждый из кото-

рых связан с 10

-10

других нейронов. Эта сеть нейронов обеспечивает все

процессы жизнедеятельности - от мышления, эмоционального состояния до

различного рода сенсомоторных функций. Изучение структуры нейрона ста-

ло возможным только в конце XIX века после открытия в 1880 г. миланским

анатомом Камилло Гольджи (Camillo Golgi) красителя на основе солей

серебра для изучения структуры клеток в срезах тканей живых организмов.

Это дало возможность четко выделить отдельные клетки и наблюдать их

внутреннюю структуру. Испанский нейроанатом Рамон-и-Каджал (Ramon y

Cajal) с помощью окраски ткани по методу Гольджи обнаружил, что нервная

сеть не является непрерывной системой нервных волокон, а состоит из от-

дельных клеточных образований, названных нейронами (1880 г.). Нейроны,

как показал Рамон-и-Каджал, разделены друг от друга узкими щелями, че-

рез которые происходит передача сигналов возбуждения и торможения. Оба

ученых - Камилло Гольджи и Рамон-и-Каджал -в начале XX века стали лау-

реатами Нобелевской премии.

На рис.1.1 представлена типовая структура нейрона. У большин-

ства позвоночных линейный размер нейронов лежит в пределах 1 0- 80 мик-

ронов. В то же время у моллюсков (кальмары, осьминоги, апплизии) тело

клетки нейрона достигает размера 1 мм, что сделало их чрезвычайно удобным

биологическим материалом для проведения исследований. Подобные иссле-

дования наиболее активно проводились в 40-е годы XX века с использовани-

ем электронного микроскопа и различных биохимических методов. С истори-

ей открытия и изучения нейронов можно ознакомиться в популярной книге

[19].

Дендриты образуют ветвящуюся систему, воспринимающую сигналы

(возбуждающие и тормозные), которые суммируются в триггерной области

(аксоновый холмик) мембраны нервной клетки. В нормальном (неактив-

ном) состоянии нейрон имеет отрицательный заряд. Разность потенциа-

лов с окружающей нейрон средой составляет -70mV и поддерживается кле-

точной мембраной, обеспечивающей пониженное содержание в клетке поло-

жительных ионов натрия и повышенное содержание отрицательных ионов

калия. Если в течение короткого интервала времени суммарный сигнал в

триггерной области превышает -50mV, то в нейроне развивается лавино-

образный процесс, при котором за счет изменения интенсивностей пото-

ков ионов натрия и калия между телом нейрона и окружающей средой по-

тенциал клетки достигает +50mV. Возникает импульс ("спайк"), который по

единственному аксону передается на другие нейроны. У позвоночных диа-

метр аксона составляет нескольких мк, а длина может достигать 1м и более.

У моллюсков диаметр аксона на два порядка больше и приближается к 0.1

мм.

1 – тело клетки (сома)

2 – дендриты

3 – аксоновый холмик (триггерная область)

4 – аксон

5 – перехват Ранвье

6 – миелиновая оболочка

7 – эффекторные нервные окончания

8 – синапс

9 – дендрит постсинаптического нейрона

Рис. 1.1 Схема нейрона

Для передачи импульса по аксону служит миелиновая оболочка, которая

примерно через каждый миллиметр прерывается узлами, называемыми пере-

хватами Ранвье. Импульсы передаются толчками от узла к узлу, что обеспе-

чивает, кроме минимизации энергетических затрат, значительную скорость пе-

редачи сигнала, которая может достигать 100 м/с.

Следует отметить, что нейрон не является бинарным элементом, который

либо пассивен, либо возбужден. Уровень активности нейрона кодируется час-

тотой последовательности импульсов (частотно-импульсная модуляция), кото-

рая может меняться в пределах от 1 до 100 гц.

После генерации спайка наступает период, называемый рефрактерным, в

течение которого клетка восстанавливает свой начальный потенциал. Этот пе-

риод длится до нескольких мс. Во время рефрактерного периода нейрон не спо-

собен к возбуждению! Эта особенность функционирования нейрона отражена на

рис. 1.2. По вертикали отмечается уровень возбудимости нейрона в процентах

по отношению к нормальной возбудимости неактивного нейрона по горизон-

тали время в мс отсчитывается от момента возникновения импульса воз-

буждения. Во время фазы I реакция нейрона на входные сигналы отсутствует,

во время фазы II эта реакция ослаблена. Фаза III характеризуется повышен-

ной возбудимостью нейрона, а фаза IV - пониженной возбудимостью.

I – абсолютный рефрактерный период

II – относительный рефрактерный период

III – супернормальный период

IV – субнормальный период

Рис. 1.2. График изменения возбудимости нейрона после возникновения

импульса возбуждения

Аксон на конце имеет множество ветвей, каждая из которых заверша-

ется синапсом (рис. 1.3.). Синаптическое окончание пресинаптического аксона

отделяется от постсинаптического дендрита узкой синаптической щелью, впер-

вые обнаруженной Рамон-и-Каджалом и доказавшей существование нервных

клеток. Передача сигнала в синапсе происходит химическим путем. Синапсы

содержат большое количество пузырьков специального химического вещест-

ва, которые под воздействием пришедшего сигнала лопаются и наполняют

своим содержимым синаптическую щель. Попавшие в синаптическую щель

вещество играет роль; рансмиттера, передающего возбуждение с аксона пре-

синаптического нейрона на дендрит постсинаптического нейрона. Таким спо-

собом постсинаптический нейрон получает сигналы по разветвленной систе-

ме своих дендритов и при достаточной совокупной мощности этих сигналов

реагирует возбуждением и передачей сигнала на другие нейроны. Сила си-

наптической связи не является постоянной. В процессе жизнедеятельности

синаптическая связь может усиливаться или ослабевать, что отражает про-

цессы обучения и адаптации.

В зависимости от роли, которую играют нейроны в нейронной сети,

различают эффекторные нейроны, передающие сигнал непосредственно ис-

полнительным органам (например, мышцам), интернейроны (или вставочные

нейроны), которые служат промежуточными звеньями по пути передачи сиг-

нала, и рецепторные нейроны, воспринимающие сигналы от органов чувств.

1 - синапс

2 - синаптический пузырек

3 - выброс медиатора

4 - рецепторы для медиатора

5 - дендрит постсинаптического нейрона

6 - аксон пресинаптического нейрона

Рис. 1.3. Структура синаптической связи нейронов

В заключение приведенного описания работы нейрона отметим несколько

принципиальных особенностей, которые будут приняты во внимание при построении

математической модели технического нейрона:

• нейрон аккумулирует сигналы, переданные ему через

разветвленную систему дендритов,

• активность нейрона не может поддерживаться длительно во време-

ни, а сигналы возбуждения могут вырабатываться нейроном не чаще, чем

это позволяет интервал рефрактерности,

• нейрон является нелинейным преобразователем, поступающих на

него сигналов,

• сила синаптической связи нейронов настраивается в соответ-

ствии с реальными условиями жизнедеятельности.

1.2 Математическая модель искусственного нейрона

В 1943 г. У. Мак Каллок и У. Питтс (Warren McCullock, Walter Pitts) опуб-

ликовали статью [2], в которой предложили общую теорию обработки дан-

ных, основанную на использовании бинарных переключающих элементов,

названных ими нейронам. Такие нейроны имеют состояния 0 (невозбужден-

ное) и 1 (активное).

Авторы предложили схему функционирования технического нейрона

в дискретном времени t=0,1,2, ... . Если принять во внимание рефрактер-

ный интервал, которым характеризуется работа биологического нейрона, то

можно сказать, что выбор дискретного времени соответствует особенностям ра-

боты живой нервной клетки.

На нейрон поступают сигналы как из внешней среды, так и от других

нейронов. В математической модели эти сигналы образуют вектор-строку y(t) =

(у

(t), y

(t), ... y

(t)). Каждый из сигналов y

(t), j=1,2, ..., M, воздействует на нейрон

с усилением или ослаблением, определяемым постоянными коэффициен-

тами w

J=1,2, ..., M, которые имитирует передачу сигнала через синапс и по-

тому называются синаптическими коэффициентами. Под воздействием сигна-

ла y(t) на нейроне устанавливается потенциал h(t) в соответствии с формулой:

(3.1)

где b - начальное смещение потенциала невозбужденного нейрона. Если

ввести вектор синаптических коэффициентов w=(w

, ...,w

), то выраже-

ние (3.1) может быть записано в следующей краткой форме:

(3.2)

где

– знак транспортирования вектора или матрицы.

Выходной сигнал нейрона n(t+1) на следующем такте дискретного

времени рассматривается как результат нелинейного преобразования потенциала

h(t):

В работе [2] в качестве нелинейного преобразователя используется

пороговая единичная функция:

(3.3)