Гудков П.А. (сост.). Системы искусственного интеллекта

Подождите немного. Документ загружается.

Рис. 4.8

Панель имеет три закладки:

· Training Info (Информация об обучающих последовательностях)

(рис. 4.8);

· Training Parametrs (Параметры обучения) (рис. 4.9);

· Optional Info (Дополнительная информация) (рис. 4.10).

Рис. 4.9

Последняя закладка применяется, когда в процессе обучения

используются контрольные и тестовые последовательности.

Рис. 4.10

Применяя эти закладки, можно установить имена последовательностей

входа и цели, а также параметров процедуры обучения.

Теперь можно приступить к обучению сети (кнопка Train Network).

Рис. 4.11

Качество обучения сети с прямой передачей сигнала на выбранной

обучающей последовательности поясняется на рис. 4.11. Практически

нулевая точность достигается за 13 циклов обучения.

Соответствующие веса и смещения можно увидеть, если выбрать

закладку Weights (рис. 4.12).

Рис. 4.12

Для удобства работы можно экспортировать созданную нейронную

сеть в рабочую область системы MATLAB и получить информацию о весах и

смещениях непосредственно в рабочем окне системы:

network1.IW{1, 1}, network1.b{1}

ans = 10.972 11.3085

ans = -5.6542

network1.LW{2, 1}, network1.b{2}

ans = 1.5

ans = 0.5

Результаты обучения можно просмотреть в окне Network/Data

Manager, выбрав кнопку Manager (рис. 4.12). Появляется окно (рис. 4.13);

теперь, активизируя имена последовательностей выхода или ошибок

network1_outputs и network1_errors, можно просмотреть результаты,

используя кнопку View. Получаем выходные данные, практически равные

целям, и ошибки порядка 10

-15

Рис. 4.13

При моделировании работы нейронной сети в Excel следует

использовать следующие формулы для вычисления функций активации

(передаточных функций) нейрона:

· Линейная (PURELIN): y = x

· Логистическая (LOGSIG): y = 1/(1+exp(-x))

· Гиперболический тангенс (TANSIG):

y = (exp(x)-exp(-x))/(exp(x)+exp(-x)) = tanh(x)

При этом математическая модель нейрона описывается следующими

соотношениями:

y = f(w

+...+w

+b)

где w

– вес синапса (в данной работе используется нейронная сеть с

двумя слоями, которые характеризуются матрицами весов, обозначаемыми

IW (Input Weight) и LW (Layer Weight)), b – значение смещения (bias), x

–

компонента входного вектора (входной сигнал), y – выходной сигнал

нейрона, N – число входов нейрона, f – нелинейное преобразование (функция

активации).

Порядок выполнения работы

1. Изучить теоретическую часть.

2. Получить у преподавателя вариант задания.

3. Создать и обучить нейронную сеть выполнению заданной операции.

4. Промоделировать созданную нейронную сеть в Excel, используя

соответствующие веса и смещения, полученные в результате обучения.

5. Распечатать полученные результаты.

6. Оформить отчет.

Содержание отчета

1. Вариант задания.

2. Структура используемой нейронной сети.

3. Распечатки экрана Excel с результатами моделирования (в качестве

входных данных использовать также данные, которые не входили в

обучающую выборку).

4. Выводы по работе.

Контрольные вопросы

1. Назначение и преимущества использования нейронных сетей.

2. Какие действия необходимо выполнить для создания нейронной сети?

3. Что такое функция активации нейрона?

Литература

1. Искусственный интеллект. – В 3-х кн. Кн. 2. Модели и методы:

Справочник / под ред. Д. А. Поспелова – М.: Радио и связь, 1990.

2. Галушкин А.И. Теория нейронных сетей. – М.: ИПРЖР, 2000.

3. Горбань А. Н. Обучение нейронных сетей. – М.: СП Параграф, 1990.

4. Круглов В. В., Борисов В. В. Искусственные нейронные сети. Теория и

практика. – М.: Горячая линия - Телеком, 2001.

Лабораторная работа №5

РАЗРАБОТКА ПРОГРАММЫ РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ

С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ

Цель работы:

приобретение и закрепление знаний, а также получение

практических навыков работы с простейшими нейронными сетями.

Общие сведения

При моделировании нейронных сетей в качестве искусственных

нейронов обычно используется простой процессорный элемент,

изображенный на рис. 5.1. На его входы поступает вектор X = (х

, …, х

)

входных сигналов, являющихся выходными сигналами других нейронов, а

также единичный сигнал смещения. Все входные сигналы, включая и сигнал

смещения, умножаются на весовые коэффициенты своих связей и

суммируются:

wwxS

(1)

где S – суммарный входной сигнал, который поступает на вход блока,

реализующего функцию f активации нейрона;

(

)

niw

,1= – весовые

коэффициенты связей входных сигналов х

, ..., x

, w

– весовой коэффициент

связи сигнала смещения.

Рис. 5.1. Процессорный элемент, используемый в нейросетях

Приведенная модель искусственного нейрона игнорируют многие

известные свойства биологического прототипа. Например, она не учитывает

временные задержки нейронов, эффекты частотной модуляции, локального

возбуждения и связанные с ними явления подпороговой временной и

пространственной суммации, когда клетка возбуждается не одновременно

пришедшими импульсами, а последовательностями возбуждающих сигналов,

поступающих через короткие промежутки времени. Не учитываются также

периоды абсолютной рефрактерности, во время которых нервные клетки не

могут быть возбуждены, т.е. как бы обладают бесконечно большим порогом

возбуждения, который затем за несколько миллисекунд после прохождения

сигнала снижается до нормального уровня. Этот список отличий, которые

многие биологи считают решающими, легко продолжить, однако

искусственные нейронные сети все же обнаруживают ряд интересных

свойств, характерных для биологических прототипов.

Искусственные нейронные сети, предназначенные для решения

разнообразных конкретных задач, могут содержать от нескольких нейронов

до тысяч и даже миллионов элементов. Однако уже отдельный нейрон

(рис. 5.1) с биполярной функцией активации (на выходе имеется сигнал "1"

или "–1") может быть использован для решения простых задач распознавания

и классификации изображений.

Если выходной сигнал у нейрона принимает только два значения, то

нейрон можно использовать для классификации предъявляемых

изображений на два класса.

Пусть имеется множество М изображений, для которых известна

корректная классификация на два класса Х

= {X

, X

, ..., X

}, X

= {X

, X

..., Х

2р

}, MXX =

U , 0

=XX I , и пусть первому классу Х

соответствует

выходной сигнал у = 1, а классу X

– сигнал у = –1. Если, например,

предъявлено некоторое изображение

(

)

MXXXX

Î=

aaea

,,...,

и его

взвешенная сумма входных сигналов превышает нулевое значение:

>+=

wwxS

то выходной сигнал у = 1 и, следовательно, входное изображение Х

принадлежит классу X

. Если S < 0, то y = –1 И предъявленное изображение

принадлежит второму классу.

Возможно использование отдельного нейрона и для выделения из

множества классов М = {X

= {X

,..., Х

1к

}, ..., Х

= {X

,...,X

}, ..., X

= {

Хp1

,...,

рт

}} изображений единственного класса X

. В этом случае полагают, что

один из двух возможных выходных сигналов нейрона (например, 1)

соответствует классу X

а второй – всем остальным классам. Поэтому, если

входное изображение Х

приводит к появлению сигнала y = 1, то Х

Є Х

если у = –1, то это означает, что предъявленное изображение не

принадлежит выделяемому классу.

Система распознавания на основе единственного нейрона делит все

пространство возможных решений на две области с помощью

гиперплоскости

0...

02211

=++++ wwxwxwx

Для двумерных входных векторов границей между двумя классами

изображений является прямая линия: входные вектора, расположенные выше

этой прямой, принадлежат к одному классу, а ниже – к другому.

Для адаптации, настройки или обучения весов связей нейрона может

использоваться несколько методов. Рассмотрим один из них, получивший

название "правило Хебба". Хебб, исследуя механизмы функционирования

центральной нервной системы, предположил, что обучение происходит

путем усиления связей между нейронами, активность которых совпадает по

времени. Хотя в биологических системах это предположение выполняется

далеко не всегда и не исчерпывает всех видов обучения, однако при

обучении однослойных нейросетей с биполярными сигналами оно весьма

эффективно.

В соответствии с правилом Хебба, если предъявленному биполярному

изображению X = (х

, ..., х

) соответствует неправильный выходной сигнал,

то веса

(

)

niw

,1= связей нейрона адаптируются по формуле

(

)

niyxtwtw

iii

,0)(1 =+=+

где w

(t), w

(t+1) соответственно вес i-й связи нейрона до и после адаптации;

(

)

,1 – компоненты входного изображения; X

= 1 – сигнал смещения; у –

выходной сигнал нейрона.

В более полной и строгой форме алгоритм настройки весов связей

нейрона с использованием правила Хебба выглядит следующим образом:

Шаг 1. Задается множество М = {(X

, t

), ..., (Х

, t

)} состоящее из пар

{входное изображение

(

)

xxX ,...,

= , необходимый выходной сигнал

нейрона t

, ( mk ,1= )}. Инициируются веса связей нейрона:

niw

,0,0 ==

Шаг 2. Для каждой пары (X

, t

mk ,1= пока не соблюдаются условия

останова, выполняются шаги 3-5.

Шаг 3. Инициируется множество входов нейрона:

nixxx

,1,,1

===

Шаг 4. Инициируется выходной сигнал нейрона: у = t

Шаг 5. Корректируются веса связей нейрона по правилу:

(

)

(

)

niyxoldwneww

iii

,0, =+=

Шаг 6. Проверка условий останова. Для каждого входного изображения Х

рассчитывается соответствующий ему выходной сигнал у

Sесли

,1,

0,1

£-

где

wwxS

Если вектор (у

, ..., у

) рассчитанных выходных сигналов равен

вектору (t

, ..., t

) заданных сигналов нейрона, т. е. каждому

входному изображению соответствует заданный выходной сигнал, то

вычисления прекращаются (переход к шагу 7), если же (у

, ..., у

)

, ..., t

), то переход к шагу 2 алгоритма.

Шаг 7. Останов.

Использование группы из т биполярных или бинарных нейронов А

..., А

(рис. 5.2) позволяет существенно расширить возможности нейронной

сети и распознавать до 2

различных изображений. Правда, применение этой

сети для распознавания 2

(или близких к 2

чисел) различных изображений

может приводить к неразрешимым проблемам адаптации весов связей

нейросети. Поэтому часто рекомендуют использовать данную

архитектуру для распознавания только т различных изображений, задавая

каждому из них единичный выход только на выходе одного A-элемента

(выходы остальных при этом должны принимать значение "–1").

Рис. 5.2. Нейронная сеть из т элементов

Однослойная нейронная сеть с двоичными нейронами, приведенная на

рис. 5.2, может быть обучена с помощью алгоритма на основе правила Хебба.

В этом случае она называется сетью Хебба. Использование других

алгоритмов обучения этой же сети приводит и к изменению названия

нейронной сети. Использование в названии сетей их алгоритмов обучения

характерно для теории нейронных сетей. Для биполярного представления

сигналов возможно обучение нейросети с помощью следующего алгоритма:

Шаг 1. Задается множество М = {(X

, t

), ..., (Х

, t

)} состоящее из пар

{входное изображение

(

)

xxX ,...,

= , необходимый выходной сигнал

нейрона t

, (

mk ,1= )}. Инициируются веса связей нейрона:

minjw

,1,,1,0 ===

Шаг 2. Каждая пара (X

, t

), проверяется на правильность реакции

нейронной сети на входное изображение. Если полученный

выходной вектор сети

(

)

yy ,...,

, отличается от заданного

(

)

ttt ,...,

= , то выполняют шаги 3-5.

Шаг 3. Инициируется множество входов нейронов:

njxxx

,1,,1

===

Шаг 4. Инициируются выходные сигналы нейронов:

mity

,0, ==