Пятковский О.И. Интеллектуальные информационные системы (нейронные сети)

Подождите немного. Документ загружается.

Пусть F(

) – нейросетевая аппроксимация некоторой неизвестной функ-

ции y(

), после окончания обучения параметры

фиксированы и не влияют на

значение F(

a,x

). Выбранная нейросетевая парадигма обеспечивает построение

непрерывной дважды дифференцируемой функции от

и позволяет нам эффек-

тивно вычислять

∂

)(x

)(

∂

∂ x

в любой точке Х

Приведем алгоритм вычисления

∂

)(x

Для выходного слоя:

)(

∂

xa,

(

4.30)

Для слоя, посылающего сигналы выходному слою нейронной сети:

)()(

−

−−

⋅=⋅=

∂

xa,xa,

(

4.31)

где

























⋅+⋅=

∑

−

afcca

∂

(

4.32)

Последовательно вычисляя производные по формуле (4.31) от выходного

слоя к входному, мы получим значения

∂

)(x

для каждого входного параметра.

Значения производных могут быть непосредственно интерпретированы

экспертом как характеристика влияния входных параметров на значение вы-

ходного в данной точке. Если в некоторой точке

выполняется условие

∂

)(x

< 0, то параметр x

при увеличении будет уменьшать значение целевого пара-

метра, при

∂

)(x

>0 увеличение параметра x

способствует увеличению F(

∂

)(x

| характеризует скорость изменения F(

) при изменении x

. В связи с не-

линейностью нейросетевой модели, значения

∂

)(x

в общем случае будут от-

личаться в разных точках пространства Х.

На основе полученных значений могут быть определены различные со-

держательные характеристики взаимосвязи входных и выходных параметров.

Приведем некоторые из них:

Среднее значение по выборке

∂

∑

)(

. Может ин-

терпретироваться как влияние параметра «в среднем».

Минимальное значение

∂

)(

min

,...1,

)(

min

, максимальное значе-

ние по выборке

∂

)(

max

,...1,

)(

max

. Показывает разброс возможных зна-

чений производной. Может служить показателем степени линейности зависи-

мости выходного параметра от входного – чем меньше разброс, тем более глад-

кая зависимость.

Информация о величине производных нейросетевой функции по входным

параметрам может быть полезной как для получения нового знания об объекте

исследования, так и для контроля качества модели экспертом, который может

сравнить полученные данные с собственным опытом и сделать вывод о степени

адекватности модели.

Значения производных могут быть также использованы для поиска экс-

тремумов F(

) градиентными методами. Ставится задача условной оптимиза-

ции: найти значение

*, такое, что

* = argmax F(

*∈D

opt

, D

opt

={x

≤x

, x

≤x

,… , x

≤x

}

(4.33)

Аналогично ставится задачи минимизации F(

Область поиска оптимального значения D

opt

задается системой линейных

ограничений на Х, которые определяются ограничениями параметров предмет-

ной области или целями исследователя. Пример подобной задачи: найти мак-

симальную комплексную оценку финансового состояния ВУЗа при текущих ог-

раничениях на некоторые параметры и значения финансовых показателей, ко-

торые максимизируют эту оценку.

Для решения этой задачи предлагается использовать методы градиентно-

го поиска, что может существенно упростить реализацию решения. Параметры

нейронной сети фиксируются и изменяются только значения входных перемен-

ных

Вычисление градиентов

∂

)(x

основано на формулах (4.31), (4.32). При

задаче максимизации в качестве правила изменения

выбирается направление

градиента

htxtx

∂

)(

)()1(

⋅+=+ ,

(

4.34)

при задачах минимизации – направление антиградиента. Для поиска оп-

тимума могут применяться и более мощные методы, например (4.23). Для кон-

троля за значениями

предлагается использовать метод ограничений:











≤≤

iii

iiii

xxx

xxxx

(

4.35)

После окончания поиска значения параметров в точке х* преобразуются в

естественный масштаб измерения путем линейного преобразования (4.3).

Приведем алгоритм решения задачи (4.33):

1. Выбор начальной точки х

. В качестве начальной точки может при-

ниматься любая точка из D

opt

, в частности, точка, характеризующая текущее

положение объекта.

2. Вычисление

∂

)(F

для текущей точки х

по формулам (4.31), (4.32).

3. Выбор направления оптимизации в соответствии с методом (4.34)

или (4.23).

4. Одномерная оптимизация шага градиентного спуска h в выбранном

направлении.

5. Изменение х

в соответствии с методом (4.34) или (4.23) с учетом

(4.35).

6. Если (||

∂

)(F

||>0), то перейти к п.2, иначе - конец обучения.

С задачей поиска экстремума F(x) связана задача поиска точек на Х , в ко-

торых F(x) принимает заданные значения (поиск решения обратной задачи).

Для этого вводится функция оценки вида (4.9), где в качестве y принимается

требуемое значение F(x), веса синапсов фиксируются, и формулы (4.18)-(4.21)

применяются для поиска значения

x∂

∂

. Алгоритм решения обратной задачи:

1. Выбор начальной точки х

. В качестве начальной точки может при-

ниматься любая точка из Х, в частности, точка, характеризующая текущее

положение объекта.

2. Вычисление F(a,x) для текущей точки х

3. Вычисление

x∂

∂

для текущей точки х

по формулам (4.18)-(4.21).

4. Выбор направления оптимизации в соответствии с методом (4.22)

или (4.23).

5. Одномерная оптимизация шага градиентного спуска h в выбранном

направлении.

6. Изменение х

в соответствии с методом (4.22) или (4.23) с учетом

(4.35).

7. Если (||

x∂

∂

||>0), то перейти к п.2, иначе - конец обучения.

В связи с тем, что используемые методы оптимизации могут приводить к

локальным экстремумам, процедура повторяется для нескольких начальных то-

чек.

2.14 Разработка языка описания нейроимитатора для обмена данны-

ми

Рассмотрим вопросы, связанные с разработкой унифицированного фор-

мата представления нейросетевой информации для хранения и обмена между

модулями информационной системы. Основное назначения формата – унифи-

цированное представление информации о настроенных нейросетевых моделях,

достаточной для их корректного применения в информационных системах для

решения прикладных задачах.

Для обеспечения работы с нейросетевыми моделями, представленными в

унифицированном формате, необходима разработка специализированных про-

граммных средств, преобразующих информацию во внутренний формат пред-

ставления программ – нейроимитаторов, решающих определенные задачи в

конкретных информационных системах.

Составляющей информационного обмена между информационной систе-

мой и нейросетевым компонентом является файл параметров функционирова-

ния нейроимитатора. Он содержит информацию, необходимую для корректной

обработки запроса. В состав выходной информации нейроимитатора входит

файл результатов работы, файл отчета о процессе настройки, файл нейросете-

вой модели, протокол работы нейроимитатора. В файле результатов содержатся

значения целевых параметров задачи, полученные моделью на основе входных

данных, предоставленных ИС. Эта информация используется непосредственно

в дальнейшей работе ИС. Файл отчета о процессе обучения содержит информа-

цию о структуре использованных моделей, ошибках на обучающей и тестовой

выборках, число тактов обучения и т.д. Файл нейросетевой модели содержит

представление обученной нейросети во внутреннем формате, а также всю необ-

ходимую информацию для ее дальнейшего использования. С помощью про-

граммы преобразования форматов нейросетевая модель представляется в уни-

фицированном формате и далее может быть добавлена в архив моделей или пе-

редана другой программе. Файл протокола работы позволяет ИС контролиро-

вать процесс функционирования нейроимитатора, диагностировать возникаю-

щие сбои и корректно их обрабатывать.

Предлагаемый вариант унифицированного формата описания нейросете-

вых моделей разработан на основе изучения работ отечественных и зарубеж-

ных исследователей [41,57,110,230,232,243,247,248,249,254,255], а также собст-

венного опыта разработки программной системы моделирования нейронных

сетей [178,179]. Предлагаемый унифицированный формат можно рассматри-

вать как вариант подхода к описанию, охватывающий наиболее распространен-

ные методы и модели нейроинформатики. При этом практически важным явля-

ется вопрос обеспечения открытости и расширяемости предлагаемого формата.

Обеспечена открытость описания в следующих направлениях: общая структура

описания; состав параметров в описании используемых методов или элементов

модели; состав используемых методов и функций.

В качестве средства создания электронного формата описания нейросете-

вых моделей был выбран язык XML (Extensible Markup Language). Это язык

разметки документов, позволяющий представлять структурированную инфор-

мацию, используя для этого произвольный набор инструкций. XML описывает

класс объектов данных, называемых XML – документами. Этот язык использу-

ется в качестве средства для описания грамматики других языков и контроля за

правильностью составления документов. XML является подмножеством стан-

дартизованного общего языка разметки (SGML), утвержденного Международ-

ной Организацией Стандартов (ISO), стандарт ISO 8879:1986. В настоящее вре-

мя существует первая версия стандарта XML, утвержденная международной

организацией по стандартизации спецификаций для Интернет World Wide Web

Consortium в 1998 году [289].

Этот выбор обусловлен следующими причинами:

−

XML предоставляет стандартизованное и универсальное средство

построения структурированного описания данных;

−

язык XML предоставляет гибкий и унифицированный подход для

представления информации и обеспечивает расширяемость описания;

−

имеются разработанные стандартизованные методы доступа к ин-

формации в формате XML, не зависящие от конкретного содержания данных, а

также программные средства, реализующие интерфейс между XML – докумен-

том и программными системами.

Несмотря на то, что этот язык является новым, уже существует значи-

тельное количество приложений технологии XML в самых различных областях,

в том числе для представления математических выражений (язык MathML

[280]), описания вероятностных сетей (язык BNXML) и статистических моде-

лей анализа данных (язык PMML) [281]. Описание XML и ссылки на ресурсы

сети Интернет, посвященные его применению, можно найти в [281,282,283].

Технология XML поддерживается и развивается такими фирмами, как

Microsoft, Netscape, Sun, IBM. Ожидается, что развитие этой технологии повы-

сит эффективность представления и передачи информации в глобальной сети

Интернет.

Описание нейросетевой модели при помощи унифицированного формата

состоит из следующих разделов: описание решаемой задачи, описание струк-

туры данных и методов их предварительной обработки, описание структуры,

параметров и правил функционирования нейронной сети, описание методов

интерпретации ответов сети.

Компонент описания «Задача» содержит информацию об области ис-

пользования нейросетевой модели, ее наименовании и назначении, описывает

решаемую нейронной сетью задачу. Информация этого раздела служит для

идентификации модели, организации поиска и отбора моделей в электронных

архивах, резервирования авторских прав разработчика нейросети.

Раздел «Данные» включает в себя информацию о структуре данных, ис-

пользуемых нейросетью, сведения об обучающей выборке, которая использова-

лась для настройки нейросети, а также информацию о методах предваритель-

ной обработки данных, применяемых в задаче.

Раздел описания «Нейронная сеть» является основным и содержит дан-

ные о структуре нейросетевой модели, ее параметрах, правила ее функциони-

рования. Эта информация позволяет однозначно восстановить нейросетевую

модель и использовать ее для получения отклика на вектор входных данных.

В описание интерпретатора входит информация о методах преобразо-

вания выходных сигналов сети для получения содержательного ответа в терми-

нах предметной области. Этот раздел необходим для обеспечения корректного

использования нейросетевых моделей.

Введенные разделы «Данные», «Нейронная сеть», «Интерпретатор» по

содержанию частично соответствуют описанию компонентов нейрокомпьютера

«Обучающая выборка», «Предобработчик», «Сеть», «Интерпретатор» [110].

При этом в описании не отражены компоненты «Учитель», «Оценка», «Испол-

нитель», так как они относятся к процессу настройки нейросетевой модели.

Основными элементами формата представления нейросетевой модели яв-

ляются [285]: описания параметров самой модели и ее составных частей; опи-

сания функциональных блоков модели – блоков предобработки, нейронов, бло-

ков интерпретации; описания разделов – элементы, определяющие структуру

формата.

Кроме проверки на формальное соответствие грамматике языка, в доку-

менте могут присутствовать средства контроля над содержанием документа, за

соблюдением правил, определяющих необходимые соотношения между эле-

ментами и формирующих структуру документа. Для того, чтобы обеспечить

проверку корректности XML – документов, необходимо использовать анализа-

торы, производящие такую проверку и называемые верифицирующими. На се-

годняшний день существует два способа контроля правильности XML – доку-

мента: DTD – определения (Document Type Definition) и схемы данных

(Semantic Schema) [282].

Приведенное средство представления нейросетевых моделей позволяет

сформировать описание многослойных нейронных сетей прямого распростра-

нения произвольной топологии с различными типами нейронов.

Технология применения унифицированного формата нейросетевых мо-

делей в прикладных системах моделирования нейронных сетей представлена на

рис. 4.18. Непосредственный доступ к файлам описания производит стандарт-

ная проблемно–независимая программа – анализатор (XML-parser). Основные

его функции: чтение / запись файлов XML, построение внутреннего представ-

ления информации в виде дерева объектов, проверка синтаксической правиль-

ности и корректности содержания на основе DTD – описания, предоставление

доступа к элементам описания с помощью набора методов и объектов.

Специальный модуль интерпретации нейросетевого описания получает

доступ ко всем элементам модели с помощью стандартных методов программы

– анализатора. На основе внутреннего словаря он содержательно интерпретиру-

ет элементы описания, генерирует структуру модели, ставит в соответствие

элементам нейросетевой модели конкретные значения, проверяет возможность

реализации данной модели имеющимися средствами. Далее, сгенерированная

нейросетевая модель используется нейроимитатором, или конвертируется в на-

бор файлов внутреннего формата системы.

Программа

моделирования

нейронных сетей

(нейроимитатор)

Модуль

интерпретации и

преобразования

нейросетевых моделей

Стандартный

анализатор XML –

документов

Файлы во

внутреннем формате

нейроимитатора

Внутреннее

представление

нейросетевой

модели

<?xml …

NEURALMODEL

<Task> …

<Data> …

<Net> …

<Interpretator> …

NEURALMODEL

</xml>

ELEMENT

NEURALMODEL…>

<!ATTLIST

… >

NEURALMODEL

Task

Data

Net

Interpretator

- извлечение

информации из

описания

- формирование

моделей во

внутреннем

формате

- преобразование

данных из

внутреннего

формата в

унифицированное

описание

- создание и

обучение

нейронных

сетей

- решение

прикладных

задач в составе

ИС с помощью

нейросетевых

моделей

Описание

нейросетевой модели

в унифицированном

формате

DTD- описание

Структура

объектов

описания

модели

Рис. 4.18. Схема обработки файлов унифицированного описания нейросе-

тевых моделей

При записи файлов унифицированного формата происходит обратная по-

следовательность действий. Модуль интерпретации получает нейросетевую

модель во внутреннем формате системы. С помощью стандартных методов

анализатора создается новый документ с необходимой структурой, элементам

модели присваиваются текущие значения. Затем производится запись нового

документа. Таким образом, для обеспечения поддержки унифицированного

формата разработчику нейросетевого компонента необходимо создать модуль

интерпретации и конвертации нейросетевого описания во внутренний формат

представления информации нейроимитатора. При этом нет необходимости раз-

рабатывать интерфейс с файлами унифицированного описания: в настоящее

время существует несколько универсальных анализаторов, написанных на по-

пулярных языках программирования (см. например [281]).

Реализация унифицированного описания нейросетевых моделей на осно-

ве средств открывает следующие возможности для использования в ИС:

Хранение и документирование нейросетевых моделей во внутрен-

них архивах ИС. Описание нейросетевых моделей в предлагаемом формате

позволяет организовать архивы моделей, при этом каждое описание содер-

жит информацию, позволяющую определить задачу, которую решает мо-

дель, контекст ее использования, оценить качество настройки модели.

Структура описания модели позволяет документировать модель для облег-

чения ее дальнейшего использования. Формат описания может быть прочи-

тан с помощью любой программы, имеющей доступ к документам XML.

Файл описания нейросети может быть прочитан пользователем с помощью

любого текстового процессора, так как в нем информация представлена в

текстовом виде. Выборка моделей из архива может быть организована по

одному или совокупности полей описания. Это позволяет организовать сис-

тему управления архивами моделей, осуществляющую запись, поиск и из-

влечение моделей в соответствие с заданными критериями.

2. Передача нейросетевых моделей в рамках информационной систе-

мы. Предлагаемый формат обеспечивает независимость представления ней-

росети от средств ее создания. Это позволяет организовать автоматизиро-

ванный обмен нейросетевыми моделями между различными средствами ра-

боты с ними: архивами, программами создания, интерпретации, визуализа-

ции и т.д.

3. Обмен нейросетевыми моделями с внешними системами. Инфор-

мационная система может получать нейросетевые модели извне, например,

от удаленных систем.

3. Разновидности нейронных сетей [31]

3.1 ПЕРСЕПТРОН Розенблатта.

Простейшая нейронная сеть - ПЕРСЕПТРОН Розенб-

латта. Линейная разделимость и теорема об обучении пер-

септрона.

3.1.1 ПЕРСЕПТРОН Розенблатта.

В этой и последующих лекциях мы приступаем к непосредственному рас-

смотрению основных, описанных в литературе, моделей искусственных ней-

ронных сетей и решаемых ими задач. Исходным будет изложение ПЕРСЕП-

ТРОНА - первой нейросетевой парадигмы, доведенной до кибернетической

реализации.

Одной из первых искусственных сетей, способных к перцепции (воспри-

ятию) и формированию реакции на воспринятый стимул, явился

PERCEPTRON Розенблатта (F.Rosenblatt, 1957). Персептрон рассматривался

его автором не как конкретное техническое вычислительное устройство, а как

модель работы мозга. Нужно заметить, что после нескольких десятилетий ис-

следований современные работы по искусственным нейронным сетям редко

преследуют такую цель.

S-элементы

А-элементы

R-элементы

Рис. 4.1. Элементарный персептрон Розенблатта.

Простейший классический персептрон содержит нейрободобные элемен-

ты трех типов (см. Рис. 4.1), назначение которых в целом соответствует нейро-

нам рефлекторной нейронной сети, рассмотренной в предыдущей лекции. S-

элементы формируют сетчатку сенсорных клеток, принимающих двоичные

сигналы от внешнего мира. Далее сигналы поступают в слой ассоциативных

или A-элементов (для упрощения изображения часть связей от входных S-

клеток к A-клеткам не показана). Только ассоциативные элементы, представ-

ляющие собой формальные нейроны, выполняют нелинейную обработку ин-

формации и имеют изменяемые веса связей. R-элементы с фиксированными ве-

сами формируют сигнал реакции персептрона на входной стимул.

Розенблатт называл такую нейронную сеть трехслойной, однако по со-

временной терминологии, используемой в этой книге, представленная сеть

обычно называется однослойной, так как имеет только один слой нейропроцес-

сорных элементов. Однослойный персептрон характеризуется матрицей си-

наптических связей W от S- к A-элементам. Элемент матрицы

отвечает свя-

зи, ведущей от i-го S-элемента к j-му A-элементу.

В Корнельской авиационной лаборатории была разработана электротех-

ническая модель персептрона MARK-1, которая содержала 8 выходных R-

элементов и 512 A-элементов, которые можно было соединять в различных

комбинациях. На этом персептроне была проведена серия экспериментов по

распознаванию букв алфавита и геометрических образов.

В работах Розенблатта был сделано заключение о том, что нейронная сеть

рассмотренной архитектуры будет способна к воспроизведению любой логиче-

ской функции, однако, как было показано позднее М.Минским и С.Пейпертом

(M.Minsky, S.Papert, 1969), этот вывод оказался неточным. Были выявлены

принципиальные неустранимые ограничения однослойных персептронов, и в

последствии стал в основном рассматриваться многослойный вариант персеп-

трона, в котором имеются несколько слоев процессорных элементов.

С сегодняшних позиций однослойный персептрон представляет скорее

исторический интерес, однако на его примере могут быть изучены основные

понятия и простые алгоритмы обучения нейронных сетей.

3.1.2 Теорема об обучении персептрона.

Обучение сети состоит в подстройке весовых коэффициентов каждого

нейрона. Пусть имеется набор пар векторов (x

), α=1..p, называемый обу-

чающей выборкой. Будем называть нейронную сеть обученной на данной обу-

чающей выборке, если при подаче на входы сети каждого вектора x

на выхо-

дах всякий раз получается соответсвующий вектор y

Предложенный Ф.Розенблаттом метод обучения состоит в итерационной

подстройке матрицы весов, последовательно уменьшающей ошибку в выход-

ных векторах. Алгоритм включает несколько шагов:

аг 0.

Начальные значения весов всех

нейронов

(

)

t = 0

полагаются случайны-

ми.

аг 1.

Сети предъявляется входной образ

, в результате формируется выходной

образ

y y

α α

≠

аг 2.

Вычисляется вектор ошибки

(

)

α α α

= −y y

, делаемой сетью на выходе.

Дальнейшая идея состоит в том, что из-

менение вектора весовых коэффициентов

в области малых ошибок должно быть

пропорционально ошибке на выходе, и

равно нулю если ошибка равна нулю.

аг 3.

Вектор весов модифицируется по

следующей формуле:

(

)

t t W t x

( ) ( )+ = + ⋅∆

η δ

α α

. Здесь

0 1

- темп обучения.