Лекции по СИИ

Подождите немного. Документ загружается.

оператора



к описанию



будет

 



. Преимуществом является то, что здесь не надо применять условие

применимости.

В качестве примера рассмотрим задачу об обезьяне и бананах. Представим решение данной задачи в виде четверки ( w, x,

y, z), где w – координаты обезьяны в горизонтальной плоскости, x – 1 или 0 в зависимости от того, находится обезьяна на ящике

или нет, y – координаты ящика в горизонтальной плоскости. Пусть в начальный момент времени обезьяна имеет …

(w, x, y) a b c

(a, 0, b, 0) (c, 1, c, 1)

…

/* вообщем проще посмотреть методичку ко второй лабе по СИИ, нежели печатать сие безобразие с множеством

табличек и схем */

Основными преимуществами продукционной модели является наглядность, высокая модульность, легкость внесения

изменений и дополнений, простота логического вывода.

К недостаткам можно отнести сложность оценки целостного образа знаний, низкую эффективность обработки знаний,

неясность взаимных отношений и правил.

§2.3 Вывод на знаниях

Итак, после того, как мы построили систему представления знаний с помощью той или иной модели знаний, система по

запросу может принимать решения. И здесь возникает проблема – как по запросу формировать решение или как система

вырабатывает решение. Процессы представления знаний и вывода решений трудно разделить.

2.3.1 Методы вывода решения в продукционных моделях представления знаний

Механизм вывода выполняет две основные функции:

1) Просмотр существующих в рабочей памяти фактов и правил из базы правил, а также добавление в рабочую память

новых фактов;

2) Определение стратегии поиска и применения правил.

Для выполнения указанных функций механизм вывода включает компоненту вывода и управляющую компоненту.

Действия компоненты основаны на применении правил вывода, называемое «modus ponendo ponens», которое звучит в

продукционных системах так: «если верно A и верно, что из A следует B, то верно B». То есть, если в рабочей памяти

присутствует факт A, и в базе правил существует правило вида «Если A то B», то факт B признается истинным и заносится в

рабочую память. Управляющая компонента определяет порядок применения правил. Механизм вывода работает циклически.

При этом в одном цикле может срабатывать только одно правило.

В цикле выполняются следующие операции:

1) сопоставление (образец правила сопоставляется с имеющимися в рабочей памяти фактами);

2) выбор (если в конфликтной ситуации может быть применено несколько правил, то из них выбирается

одно, наиболее подходящее по заданному критерию, то есть происходит решение конфликтного выбора);

3) срабатывание (если образец правила при сопоставлении совпал с какими0либо фактами из рабочей

памяти, то правило срабатывает, и оно отмечается в базе правил);

4) 4 действие (рабочая память подвергается изменению путем добавления в нее заключения

срабатываемого правила)

Конфликтное

множество

Разрешение

конфликта

Критерий выбора

правил

База правил

Вычисленное

правило

Действие

Рабочая память

Сопоставление

0,5





(1)

2 ,m n

,2n m



Условиям окончания цикла является либо исчерпание всех правил в базе правил либо выполнение некоторого условия,

которому удовлетворяет содержимое рабочей памяти (например, появление в ней какого-либо образца) либо комбинация этих

способов.

2.3.2. Методы вывода решения во фреймовых моделях представления знаний и семантических сетях.

В интеллектуальных системах с фреймовым представлением знаний используются три способа управления логическим

выводом:

1) Демоны;

2) Присоединенные процедуры;

3) Механизм наследования.

Во фреймах различают два типа присоединенных процедур: процедуры-демоны и процедуры-слуги. Демоны или

процедуры-демоны автоматически запускаются при обращении к соответствующему слоту. Типы демонов связаны с условием

запуска процедуры.

Демон IF-NEEDED запускается, если в момент обращения к слоту его значение не было установлено.

 Демон IF-ADDED запускается при попытке изменения слота;

 Демон IF-REMOVED запускается при попытке удаления значения слота;

 Возможны также другие типы демонов.

В отличие от демонов процедуры-слуги запускаются явно.

Механизм наследования является основным механизмом вывода. Управляющие функции механизма наследования

заключаются в автоматическом поиске и определении значений слотов фреймов нижележащих уровней по значению слотов

фреймов верхних уровней, а также в запуске присоединенных процедур и демонов.

Общий механизм сопоставления фреймов и получения результирующего фрейма, т.е. ответа на запрос, состоит в

следующем: поиск фрейма в системе фреймов делается с помощью ключевых слов (ключей), выделенных из запроса; при

нахождении фрейма информация, отсутствующая в запросе получается из слотов этого фрейма с умолчанием DEFAULT,

ограничением REQUIRE PREFER и с помощью демонов; после обработки этого фрейма с помощью слота АКО переходят на

более высокий уровень иерархии фреймов и вновь применяются слоты нового фрейма для заполнения слотов фрейма,

найденного по запросу. Присоединенные процедуры и демоны могут реализовать любой механизм вывода. Однако эта

реализация имеет конкретный характер и требует значительных затрат труда проектировщиков и программистов.

В интеллектуальных системах с фреймовым представлением невозможно четко отделить процедурные знания от

декларативных, поскольку демоны и присоединенные процедуры являются и знаниями и средствами управления логическим

выводом. В семантических сетях, также как и при фреймовом представлении знаний декларативные и процедурные знания не

разделены, следовательно, база знаний не отделена от механизма вывода. Поэтому процедура вывода обычно представляет

собой совокупность процедур обработки сетей.

29.10.2009

2.3.3 Методы вывода решения в логических моделях представления знаний.

В логических моделях, операция, называемая выводом – это получение заключения из группы заданных представлений.

Вывод является формулой, полученной из некоторой группы описанных формул. Как правило, эти формулы истины при любых

интерпретациях.

Действие компонентов вывода в логических моделях основано на применении следующих правил вывода:

1. модус - поненс

A B   

2. модус-толенс

3. modus ponendo tollens

A B,A A B,B

B A

 

 

4. modus tollendo ponnens

A B, A A B, B A B, A A B, B

, , ,

B A B A

       

(A + B,неA )/B , (A + B,не B)/ A, (A \/ B,неA )/ B , (A \/ B,неB)/ A

5. Закон транзитивности

6. Закон противоречия

7. Правило контра позиции или метод резолюций

0,5





(1)

2 ,m n

,2n m



Глава 3 Экспертные системы

1. Структура ЭС

2. Классификация ЭС

3. Цикл работы ЭС

4. Технология разработки ЭС

0,5





(1)

2 ,m n

,2n m



Глава №4. Нейронные сети

§4.1 Биологический нейрон и его математическая модель

4.1.1 Биологический нейрон

Искусственные нейронные сети строятся по принципам организации и функционирования их биологических аналогов.

Нервная система и мозг человека состоят из нейронов, соединенных между собой нервными волокнами.

Нервные волокна способны передавать электрические импульсы между нейронами.

Все процессы передачи раздражений от кожи, ушей и глаз к мозгу, а также процессы мышления и управления действиями

реализуются в живом организме, как передача электрических импульсов между нейронами.

Нейрон или нервная клетка – особая биологическая клетка, которая обрабатывает информацию.

Нейрон состоит из:

1.тела (cell body) – сома (soma)

2. отростков нервных волокон двух типов: дендритов, по которым принимаются импульсы и единственного аксона, по

которому нейрон может передавать импульс.

Тело нейрона включает ядро (nucleus), которое содержит информацию о наследственных свойствах и плазму,

обладающую молекулярными средствами для производства необходимых нейрону материалов.

Нейрон получает сигналы или импульсы от аксонов других нейронов через дендриты и передает сигналы,

сгенерированные телом клетки вдоль своего аксона, который в конце разветвляется на волокна, на окончаниях этих волокон

находятся синапсы, которые влияют на величину импульсов.

Простейший нейрон может иметь до 10000 дендритов, принимающих сигналы от других клеток. В человеческом мозге

содержится приблизительно

нейронов, каждый нейрон связан с

3 4

10 - 10

нейронами.

Биологическая нейронная сеть содержит

14 15

10 - 10

взаимосвязей. Каждый нейрон может существовать в двух

состояниях: возбужденном и невозбужденном. В возбужденное состояние нейрон переходит под воздействием электрических

сигналов, поступающих к нему от других нейронов, когда эти воздействия становятся достаточно большими. В возбужденном

состоянии нейрон сам посылает электрический сигнал другим, соединенным с ним нейронам. Известно, что общее число

нейронов в течение жизни человека практически не изменяется, отличие состоит лишь в силе синоптических связей, т.е. в

величине электрических проводимостей нервных волокон, соединяющих нейроны.

На этом основании была высказана гипотеза о том, что все наши мысли, эмоции, знания, вся информация, хранящаяся в

человеческом мозге, закодирована в виде сил синоптических связей. Т.о., получается, матрица кодов хранимой информации,

которая содержит

14 15

10 - 10

элементов.

Процесс обучения человека, продолжающийся всю его жизни, состоит в непрерывной корректировке содержимого этой

матрицы.

4.1.2 Искусственный нейрон в первом приближении имитирует свойства биологического нейрона.

Исторически первая модель искусственного нейрона была предложена в 1943 г. Мак-Каллоком и В. Питтсом гипотеза

математического нейрона - модель абстрактного устройства, моделирующего мозг человека.

Математический нейрон также имеет несколько входов и один выход.

Через входы, число которых обозначим через m, математический нейрон принимает входные сигналы

1 2

, , ... ,

u u u

которые суммируют, умножая каждый входной сигнал на соответствующий весовой коэффициент

1 2

, , ... ,

w w w

Весовые коэффициенты характеризуют величину синоптической связи. Т.о., текущее состояние нейрона s определяется

как взвешенная сумма его входов.

i i

S w u



 



(4.1)

Выходной сигнал нейрона – y – функция его состояния

( ) y f s

(4.2)

f – активационная функция или функции активации

Активационная функция в общем случае является нелинейным преобразованием, моделирующем нелинейную

передаточную характеристику нейрона.

Наиболее часто используемыми активационными функциями являются следующие:

1.Пороговая (или функция единичного скачка)

: {0,1}f R 

( )

f s















(4.3)



– порог перехода из одного состояния в другое

2. Линейная

:f R R

( ) f s ks

(4.4)

3. Логистическая (сигмоидальная)

: (0,1)f R 

( )

f s





(4.5)

0,5





(1)

2 ,m n

,2n m



4. Гиперболический тангенс

: ( 1,1)f R  

( )

as as

e e

F s

e e





(4.6)

5. Линейная с насыщением или линейный порог

: [0,1]f R 

( ) , 0

f s s









  









(4.7)

Чаще всего можно вычесть параметр и представить состояние нейрона в виде

i i

s w w u



  



(4.8)

§4.2 Основные понятия нейронных сетей

4.2.1 Классификация и свойства нейронных сетей

Нейронная сеть представляет собой совокупность нейроподобных элементов, определенным образом соединенных друг

с другом и с внешней средой, с помощью связей, определяемых весовыми коэффициентами. В зависимости от функций,

выполняемых нейронами в сети, можно выделить три их типа:

1. входные нейроны, на которые подается вектор, кодирующий входное воздействие или образ внешней среды, в них

обычно не осуществляется вычислительных процедур, а информация передается с входа на выход путем изменения их

активации.

2. выходные нейроны, выходные значения которых представляют выходы нейронной сети, преобразования по ним

осуществляются в соответствии с (4.1) и (4.2).

3. промежуточные нейроны, составляющие основу нейронных сетей, преобразования в которых выполняются также по

выражениям (4.1), (4.2).

С точки зрения топологии можно выделить 3 основных типа нейронных сетей:

1. полносвязные

(картинка).

Каждый нейрон связан с каждым другим нейроном. Каждый нейрон передает свой выходной сигнал остальным нейронам,

в том числе и самому себе. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов.

2. слоистые

(картинка).

Нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входными сигналами, число нейронов

в слое может быть любым и не зависит от количества нейронов в других слоях.

3. слабосвязные или с локальными связями. Нейроны располагаются в узлах прямоугольной или гесксогональной

решетки.

(картинка)

Каждый нейрон связан с 4 (окрестность Фон Неймана), 6 (окрестность Галея) или 8 (окрестность Мура) своими

ближайшими соседями.

Простейшей нейронной сетью является однослойная нейронная сеть:

(картинка)

Вершины (круги слева) служат лишь для распределения входных сигналов, они не выполняют каких либо вычисления,

поэтому они не могут считаться слоем.

Каждый элемент из множества входов соединен с каждым нейроном отдельной связью, которой приписан вес, а каждый

нейрон выдает взвешенную сумму входов в сеть.

В биологических и искусственных сетях многие соединения могут отсутствовать.

Могут иметь место также соединения между выходами и входами элементов слоя.

Т.о., в однослойной сети вычисления m-мерного выходного вектора y сводится к матричному умножению

y W u 

(4.9), где W – матрица размера

n m

, u – m-мерный вектор входов.

Многослойные сети обладают, как правило, большими вычислительными возможностями, могут образовываться

каскадами слоев, выход одного слоя является входом для другого слоя.

Пример 2-х слойной сети:

(картинка)

Среди многослойных сетей выделяют следующие типы:

1. монотонные – частный случай слоистых сетей с дополнительными условиями на связи и нейроны, каждый слой

кроме последнего выходного разбит на два блока: возбуждающий и тормозящий. Связи между блоками тоже разделяются на

возбуждающие и тормозящие. Для нейронов монотонных сетей необходима монотонная зависимость выходного сигнала

нейрона от параметров входных сигналов.

2. сети без обратных связей. Нейроны входного слоя получают входные сигналы, преобразуют их и передают их

нейронам следующего слоя и так далее вплоть до выходного, который выдает сигналы для интерпретатора или пользователя.

3. сети с обратными связями. Информация с последующих слоев может передаваться предыдущим.

Выбор структуры нейронной сети осуществляется в соответствии с особенностью и сложностью задачи.

0,5





(1)

2 ,m n

,2n m



12.11.2009

4.2.2 Обучение нейронных сетей

Все зависит от величин синоптических связей. Поэтому, когда задаются определенные структуры задачи, необходимо

найти оптимальные коэффициенты. Сеть обучается, чтобы из некоторого множества входов давать требуемое, сообразное с

ним множество выходов, каждое такое входное множество рассматривается, как вектор u (входное) и y (выходное)

соответственно. Обучение осуществляется путем последственного предъявления входных векторов с одновременной

подстройкой весовых коэффициентов по определенной процедуре. Различают алгоритмы обучения с учителем и без учителя:

Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий

собой требуемый выход. Вместе они называются обучающей парой. Обычно сеть обучается на некотором числе обучающих

пар. Для выхода мы имеет два вектора, целевой и тот, который мы вычислили.

Разность, которая характеризует ошибку сети, подается в сеть. И в зависимости от нее веса изменяются в зависимости от

алгоритма обучения. Эти алгоритмы стремятся минимизировать эту ошибку.

Обучение без учителя не нуждается в целевом векторе для входов и следовательно не требует сравнения с

предопределенными идеальными ответами. Обучающее множество состоит лишь из входных векторов и обучающий алгоритм

подстраивает веса сети так, чтобы получались согласованные выходные векторы, то есть чтобы предъявление достаточно

близких входных векторов давало одинаковые выходы. Процесс выделяет свойства обучаемого множества и группирует

сходные вектора в классы.

4.2.3 Теорема Колмогорова

Рассмотрим двухслойную нейронную сеть с m входами и одним выходом.

Для определенности будем считать передаточные функции в первом слое сигмаидальными, а в выходном слое

используется тождественная функция. (Взвешенная сумма векторов первого слоя и будет ответом в сети).

Подавая на вход любые числа

,...,

u u

мы получим на выходе значение некоторой функции

( ,.. )

y F u u

, которые и

являются реакцией сети. Очевидно, что ответ зависит как от входного сигнала, так и от значения ее внутренних параметров, то

есть весов нейронов. Точный вид функции:

1 2

1 1

( , ,..., ) ( ), ( )

m m

m i ji j

i j

F u u u w u где s

  

 



 

В 1957 г Колмогоров доказал следующую теорему : (4.1) Любая непрерывная функция F определенная на m-мерном

единичном кубе может быть представлена в виде суммы 2m+1 суперпозиций, непрерывных и монотонных отображений

единичных отрезков.

2 1

1 2

1 1

( , ,..., ) ( ( )), 0 1 (4.12)

m m

m i ij j j

i j

F u u u g h u где u



 

  

 

Где

i ij

g h

— непрерывные функции, причем

не зависят от функции F. Эта теорема означает, что для реализации

функции многих переменных достаточно операций суммирования и композиции функций одной переменной. Результаты в

дальнейшем были переработаны в применении к нейронным сетям.

Пусть

( ,.. )

y F u u

- любая непрерывная функция, определенная на ограниченном множестве, функция σ определена

согласно 4.11 (см выше).

Теорема 4.2

1 1

0 , , : ( ) ( ), ,

m m

ij i i ji i

i j

e n w v F u w u где w набор чисел

  

 

    

 

приближают функции с погрешностью не более



на всей области определения.

В терминах теории нейронных сетей эта теорема формулируется так: Любую непрерывную функцию нескольких

переменных можно с любой точностью реализовать с помощью двухслойной нейронной сети.

§4.3 Персептрон

4.3.1 Персептрон Розенблатта и обучение одно нейронного персептрона

Одной из первых искусственных нейронных сетей, способных к восприятию (перцепция), и формированию реакции на

восприимчивость ему явился PERCEPTRON Розенблатта. Персептрон как правило называют однослойную нейронную сеть,

при этом каждый персептронный нейрон в качестве активационной функции использует функцию порогового единичного

скачка вида (4.3). Для простоты сначала рассмотрим процедуру обучения персептрона, состоящего только из одного нейрона.

Пусть имеется дополнительный вход

U =1, =0



, тогда в формуле (4.3) для активационной функции пороговое смещение

можно установить равно 0. Тогда

0,5





(1)

2 ,m n

,2n m



( ) 0, 0

( ) 1 5, 0

y f s если s

  

  

Обучение персептрона состоит в подстройке значений

, обученный персептрон способе разделять множества на два

класса, для которых получено значение 0 и для других значение 1.

Обучение персептрона — это обучение с учителем. То есть должен существовать набор пар

( , )

k k

u y

( , ), ( , ), [0,1]

k k k k k

i m k

u y где u u U y 

Будем называть персептрон обученным, если при подаче на вход каждого вектора

, будем получать соответствующее

. Предложенный алгоритм состоит в итерационной подстройки

, последовательно уменьшающие ошибки.

Алгоритм 4.1

Исходные данные:

( , ), 1 , {0,1}

k k

i k k

u y где u m мерный вектор y  

И коэффициент скорости обучения β = [0 ..1]

И выходной параметр:

( ,..., )

w R w w w 

Шаг 0: проинициализировать весовые коэффициенты

, для

0...i m

, небольшими случайными значениями.

Положить

1k 

Шаг 1: Подать на вход персептрона обучающий вектор

и вычислить его выход вектор y.

Шаг 2: Если

y y

, то есть выход правильный, то перейти к шагу 4. В противном случае вычислить ошибку

d y y 

Шаг 3: Весовые коэффициенты модифицируются по формуле:

i i i

w w d u



   

Шаг 4:

1 [ / ] 1.k k N k N goto  

Замечание 4.1 Шаги 1-3 алгоритма 4.1 повторяются несколько раз для всех обучающих векторов. Один цикл

последовательного предъявления векторов всей выборки называется эпохой. Обучение завершается по истечении нескольких

эпох, когда сеть перестанет ошибаться. Замечание 4.2 Коэффициент скорости обучения β является параметром метода. Обычно

его выбирают из диапазона 0.5-0.7. Это коэффициент влияющей на скорость обучения сети.

Теорема 4.3

Если существует множество значений весов персептрона, которые обеспечивают конкретное различение образов, то

существует такое бетта, что алгоритм 4.1 за конечное число шагов приводит либо к этому множеству, либо эквивалентному

множеству, при котором данное различение образов будет достигнуто.

4.3.2 Δ(дельта) - правило для обучения персептрона.

Δ - правило называют обобщение алгоритма 4.1 на случай однослойной сети, включающей n персептронных нейронов с

пороговой функцией активации. Такая сеть при достаточно большом числе нейронов может осуществлять разбиение образов на

произвольное число классов.

Пусть имеется обучающая выборка, состоящая из пар векторов:

( , ) 1, 2,...,

k k

u y k N

. Назовем нейронную сеть

обученной на данной обучающей выборке, если при подаче на входы сети каждого вектора

из этой выборки на выходах

каждый раз получается вектор

. Обучение заключается в итерационной подстройки матрицы весов W, состоящей из

элементов

— вес синоптической связи между j - входом и i - нейроном, последовательно уменьшающей ошибку на входных

векторах.

Алгоритм 4.2: (дельта-правило):

Исходные данные:

( , ), 1, 2... ,

k k k m n

i k

u y k где u R y R



  

Коэффициент скорости обучения

[0...1]





Выходной параметр

1m n



Шаг 0: проинициализировать элементы весовой матрицы W, для

[0...1]i 

, небольшими случайными значениями.

Положить

1k 

Шаг 1: Подать на вход персептрона обучающий вектор

и вычислить его выход вектор y.

Шаг 2: Если

y y

, то есть выход правильный, то перейти к шагу 4. В противном случае вычислить ошибку n-мерный

вектор

d y y 

. (d- дельта).

Шаг 3: Элементы весовые матрицы модифицируются по формуле:

0,5





(1)

2 ,m n

,2n m



, 1.. , 0..

ij ij i j

w w d u i n j m



     

Шаг 4:

1 [ / ] 1.k k N k N goto  

Замечание 4.3: Шаги 1-3 алгоритма 4.2 повторяются несколько раз для всех обучающих векторов. Обучение завершается,

когда сеть перестает ошибаться.

Розенблаттом доказана теорема о сходимости обучения по алгоритму 4.2, которая утверждает, что однослойный

персептрон способен обучиться любому обучающему набору, который он способен представить.

4.3.3 Адалайн, мадалайн и обобщенное дельто-правило.

Персептроны со ступенчатой функцией активацией выдают бинарные выходные сигналы и способны к распознаванию

дискретных образов. Круг решаемых персептроном задач значительно расшириться, если научить персептрон выдавать не

только бинарные выходные сигналы, но и аналоговые, то есть имеющие непрерывные значения. Такое обобщение персептрона

было сделано Уидроу Хофф вместо ступенчатой функции активации использовали логистическую (сигмаидальную ) функцию

вида 4.5 (см лекции выше) . При а=1, она имеет вид:

( )

y f s



 



Персептроны с сигмаидальными активационными функциями с одним выходом назвали адалайн, с несколькими

выходами мадалайн. От английских слов (ADAptive neuron LINE , Many ADAptive neuron LINE).

26.11.09

Было предложено уменьшить ошибку СКО, определяемую как разность между полученными и реальными сигналами

персептрона ( в общем между выводом и правильным ответом).

( ) (4.16)

i i

e y y 



Если персептрон имеет m - входов и n- выходов, то

( )

e e w

- является многомерной функцией весовых коэффициентов и в пространстве координат представляется в виде

многомерной поверхности. Характерно, что существует только один либо максимум, либо минимум.

При обучении персептрона мы имеет дело с оптимизационной задачей, целевая функция которой имеет вид (4.16).

Существует множество методов. При использовании метода градиентного спуска, коррекция проводиться в стороны

противоположные градиенту функции.

(4.17)







 

Отсюда можно вывести формулу для обучения однослойного персептрона.

(4.18)

(4.19)

( ) (1 ) (4.20)

ij ij ij

ij i j

i i i i i

w w w

w u

y y y y





 

 

   

Что-то там вместе с формулой и представляет собой обобщенное дельта-правило.

4.3.3 Линейная разделимость и ограниченность однослойного персептрона.

Множество входных векторов

( 1)

y 

, при которых нейрон активен, отделено от множества векторов

( 0)

y 

, на

которых нейрон пассивен. Гиперплоскостью, уравнение которой

i i

w u







. Следовательно, нейрон может отделить только

такие два множества, для которых имеется гиперплоскость, отсекающая одно множество от другого. Такие множества называют

линейно разделимыми. Рассмотрим однослойный персептрон, состоящий из одного нейрона с двумя входами. В это случае

ситуацию с разделением векторов можно изобразить на плоскости в координатах

1 2

,u u

0,5





(1)

2 ,m n

,2n m



( )y XOR

0 0 1

1 0

0 1 1

1 1 0

Нельзя провести прямую, которая бы отделила закрашенные точки от незакрашенных. Таким образом, однослойный

персептрон не может реализовать многие простейшие функции ( в данном случае XOR). Существуют теоремы, что реализация

подобных функций возможна лишь в том случае, когда можно линейно разделить эти множества. Однако простейшая нейроная

двухслойная сеть вполне реализует эту функцию.

Пример.

§ 4.4 Многослойные нейронные сети.

4.4.1 Сети обратного распространения

Сети обратного распространения получили свое название из-за используемого алгоритма обучения, в котором ошибка

распространяется от выходного слоя к входному, то есть в направлении противоположном направления сигнала. Нейронная

сеть обратного направления состоит из нескольких слоев нейронов, причем каждый нейрон предыдущего слоя связан с каждым

нейроном последующего слоя. Рассмотрим двухслойную нейронную сеть.

∑

0,5





0,5





0,5





(1)

2 ,m n

,2n m



Матрицу весовых коэффициентов, соединяющие слои

, а

— входы и первый слой. Пусть сеть обучается на

выборке

( , )

t t

u y

задача — минимизация функции ошибки, которая находиться по методу наименьших квадратов.

1 2 2

( , ) ( ) , , ,

k k k k

E W W y y где y реальное значение y требуемое целевое



   



Обучение сети производиться известным оптимизационным методов градиентного спуска, то есть на каждой итерации

изменение веса производиться по формулам:

1 1

2 2

(4.22)

(4.23)

ij ij

W W











 

В качестве активационной функции обычно используется сигмаидальная функция. Производная:

2 2

'( ) ( ) (1 ( )) (4.24)

(1 )

(4.26)

( ) (1 ) (4.25)

( ) (1 )

(4.23)

x j

k jk j j i

x k k k k

ij ij

f s f s f s

w x x u

y y y y

w w









    









 



  



 





– значение выхода j – го нейрона первого слоя.

Алгоритм обучения сети обратного распространения:

Алгоритм обратного распространения ошибки опишем для многослойной сети, имеющей входной слой l=0.

Несколько промежуточных (скрытых слоев

1, 2,..., 1l L 

) и выходной слой l = L.

l — нумерация слоев.

Будем считать, что каждый l слой содержит

нейронов. Таким образом, нейронная сеть имеет:

количество входов:

m N

выходов:

p N

∑

(1)

2 ,m n

,2n m



(1)

(2)