Шарстнёв В.Л. Компьютерные информационные технологии

Подождите немного. Документ загружается.

141

Тенденции развития ЭС

М, Ж

мягкие, жесткие знания

П, Г

поверхностные, глубинные знания

I медицина, управление

II психодиагностика, планирование

III диагностика неисправностей разного вида

IV проектирование различных видов устройств

Модели знаний

Обычно при проектировании БЗ проектировщик старается пользоваться

стандартной моделью знаний (МЗ):

Продукционная модель знаний

Продукционная модель - модель, позволяющая представить знания в виде

предложений типа: Если (условие), то (действие). Под условием понимается

некоторое предложение-образец, по которому осуществляется поиск в базе

знаний, а под действием - действия, выполняемые при успешном исходе

поиска (они могут быть промежуточными, выступающими далее как условия

и терминальными или целевыми, завершающими работу системы). При

использовании продукционной модели база знаний состоит из набора

правил. Программа, управляющая перебором правил, называется машиной

вывода. Чаще всего вывод бывает прямой (от данных к поиску цели) или

обратный (от цели для ее подтверждения - к данным). Данные - это исходные

факты, на основании которых запускается машина вывода - программа,

перебирающая правила из базы. Продукционная модель чаще всего

применяется в промышленных экспертных системах. Она привлекает

разработчиков своей наглядностью, высокой модульностью, легкостью

внесения дополнений и изменений и простотой механизма логического

вывода. Имеется большое число программных средств, реализующих

продукционный подход (язык OPS 5; "оболочки" или "пустые" ЭС - EXSYS,

ЭКСПЕРТ; инструментальные системы ПИЭС и СПЭИС и др.), а также

промышленных ЭС на его основе (ФИАКР) и др.

Логическая модель знаний

Логическая модель представляет собой формальную систему - некоторое

логическое исчисление. Все знания о предметной области описываются в

виде формул этого исчисления или правил вывода. Описание в виде формул

дает возможность представить декларативные знания, а правила вывода -

процедурные знания. Языки представлений знаний логического типа широко

использовались на ранних стадиях развития интеллектуальных систем, но

вскоре были вытеснены (или, во всяком случае, сильно потеснены) языками

PDF created with pdfFactory Pro trial version www.pdffactory.com

142

других типов. Объясняется это громоздкостью записей, опирающихся на

классические логические исчисления. При формировании таких записей легко

допустить ошибки, а поиск их очень сложен. Отсутствие наглядности,

удобочитаемости (особенно для тех, чья деятельность не связана с точными

науками) затрудняло распространение языков такого типа.

Фреймовая модель знаний

Фрейм (англ. frame - каркас или рамка) предложен М. Минским в 1970-е гг.

как структура знаний для восприятия пространственных сцен. Эта модель

имеет глубокое психологическое обоснование

Под фреймом понимается

абстрактный образ или ситуация. Фреймом называется также и

формализованная модель для отображения образа. Различают фреймы-

образцы, или прототипы, хранящиеся в базе знаний, и фреймы-экземпляры,

которые создаются для отображения реальных ситуаций на основе

поступающих данных. Модель фрейма является достаточно универсальной,

поскольку позволяет отобразить все многообразие знаний о мире через

фреймы-структуры, для обозначения объектов и понятий (заем, залог,

вексель); фреймы-роли (менеджер, кассир, клиент); фреймы-сценарии

(банкротство, собрание акционеров); фреймы-ситуации (тревога, авария,

рабочий режим устройства) и др. Основным преимуществом фреймов как

модели представления знаний является способность отражать

концептуальную основу организации памяти человека, а также ее гибкость

и наглядность. Специальные языки представления знаний в сетях фреймов FRL

(Frame Representation Language) и другие позволяют эффективно строить

промышленные ЭС. Широко известны такие фреймоориентированные

экспертные системы, как ANALYST, МОДИС.

Семантическая модель знаний

Термин семантическая означает "смысловая", а сама семантика - это

наука, устанавливающая отношения между символами и объектами, которые

они обозначают, т.е. наука, определяющая смысл знаков. Семантическая сеть

- это ориентированный граф, вершины которого - понятия, а дуги - отношения

между ними. Характерной особенностью семантических сетей является

обязательное наличие трех типов отношений: класс - элемент класса;

свойство - значение; пример элемента класса. Проблема поиска решения в

базе знаний типа семантической сети сводится к задаче поиска фрагмента

сети, соответствующего некоторой подсети, соответствующей поставленному

вопросу. Основное преимущество этой модели - в соответствии современным

представлениям об организации долговременной памяти человека.

Недостаток модели - сложность поиска вывода на семантической сети. Для

реализации семантических сетей существуют специальные сетевые языки,

например NET и др. Широко известны экспертные системы, использующие

семантические сети в качестве языка представления знаний -

PROSPECTOR, CASNET, TORUS.

По форме описания знания подразделяются на:

PDF created with pdfFactory Pro trial version www.pdffactory.com

143

декларативные (факты) - это знания вида "А есть А". Декларативные

знания подразделяются на объекты, классы объектов и отношения. Объект -

это факт, который задается своим значением. Класс объектов - это имя, под

которым объединяется конкретная совокупность объектов-фактов. Отношения

- определяют связи между классами объектов и отдельными объектами,

возникшие в рамках предметной области;

процедурные - это знания вида "Если А, то В". К процедурным знаниям

относят совокупности правил, которые показывают, как вывести новые

отличительные особенности классов или отношения для объектов. В правилах

используются все виды декларативных знаний, а также логические связки. При

обработке правил следует отметить рекурсивность анализа отношений, т.е.

одно правило вызывает глубинный поиск всех возможных вариантов объектов

БЗ.

Граница между декларативными и процедурными знаниями очень

подвижна, т.е. проектировщик может описать одно и то же как отношение или

как правило.

Нейронные сети

Нервная система и мозг человека состоят из нейронов, соединенных между

собой нервными волокнами. Нервные волокна способны передавать

электрические импульсы между нейронами. Все процессы передачи

раздражений от нашей кожи, ушей и глаз к мозгу, процессы мышления и

управления действиями - все это реализовано в живом организме как передача

электрических импульсов между нейронами.

Рассмотрим строение биологического нейрона. Каждый нейрон имеет

отростки нервных волокон двух типов - дендриты, по которым принимаются

импульсы, и единственный аксон, по которому нейрон может передавать

импульс. Аксон контактирует с дендритами других нейронов через

специальные образования - синапсы, которые влияют на силу импульса.

Можно считать, что при прохождении синапса сила импульса меняется в

определенное число раз, которое мы будем называть весом синапса. Импульсы,

поступившие к нейрону одновременно по нескольким дендритам,

суммируются. Если суммарный импульс превышает некоторый порог, нейрон

возбуждается, формирует собственный импульс и передает его далее по аксону.

PDF created with pdfFactory Pro trial version www.pdffactory.com

144

Важно отметить, что веса синапсов могут изменяться со временем, а значит,

меняется и поведение соответствующего нейрона.

Нетрудно построить математическую модель описанного процесса. На

рисунке изображена модель нейрона с тремя входами (дендритами), причем

синапсы этих дендритов имеют веса w

, w

. Пусть к синапсам поступают

импульсы силы x

, x

соответственно, тогда после прохождения синапсов и

дендритов к нейрону поступают импульсы w

, w

. Нейрон преобразует

полученный суммарный импульс x=w

+ w

в соответствии с

некоторой передаточной функцией f(x). Сила выходного импульса равна

y=f(x)=f(w

+ w

Таким образом, нейрон полностью описывается своими весами w

передаточной функцией f(x). Получив набор чисел (вектор) x

в качестве

входов, нейрон выдает некоторое число y на выходе.

Искусственная нейронная сеть (ИНС, нейросеть) - это набор нейронов,

соединенных между собой. Как правило, передаточные функции всех нейронов

в сети фиксированы, а веса являются параметрами сети и могут изменяться.

Некоторые входы нейронов помечены как внешние входы сети, а некоторые

выходы - как внешние выходы сети. Подавая любые числа на входы сети, мы

получаем какой-то набор чисел на выходах сети. Таким образом, работа

нейросети состоит в преобразовании входного вектора в выходной вектор,

причем это преобразование задается весами сети.

Практически любую задачу можно свести к задаче, решаемой нейросетью.

В этой таблице показано, каким образом следует сформулировать в терминах

нейросети задачу распознавания рукописных букв.

Задача распознавания рукописных букв

Дано: растровое черно-

белое изображение буквы

размером 30x30 пикселов

Надо: определить, какая это буква (в алфавите 33 буквы)

Формулировка для нейросети

Дано: входной вектор из

900 двои

чных символов

(900=30x30)

Надо: построить нейросеть с 900 входами и 33 выходами,

которые помечены буквами. Если на входе сети -

изображение

буквы "А", то максимальное значение выходного сигнала

достигается на выходе "А". Аналогично сеть ра

ботает для всех

33 букв.

PDF created with pdfFactory Pro trial version www.pdffactory.com

145

Поясним, зачем требуется выбирать выход с максимальным уровнем

сигнала. Дело в том, что уровень выходного сигнала, как правило, может

принимать любые значения из какого-то отрезка. Однако в данной задаче нас

интересует не аналоговый ответ, а всего лишь номер категории (номер буквы в

алфавите). Поэтому используется следующий подход - каждой категории

сопоставляется свой выход, а ответом сети считается та категория, на чьем

выходе уровень сигнала максимален. В определенном смысле уровень сигнала

на выходе "А" - это достоверность того, что на вход была подана рукописная

буква "A".

Задачи, в которых нужно отнести входные данные к одной из известных

категорий, называются задачами классификации. Изложенный подход -

стандартный способ классификации с помощью нейронных сетей.

Теперь, когда стало ясно, что именно мы хотим построить, можно

переходить к вопросу "как строить такую сеть". Этот вопрос решается в два

этапа:

1. Выбор типа (архитектуры) сети.

2. Подбор весов (обучение) сети.

На первом этапе следует выбрать следующее:

• какие нейроны мы хотим использовать (число входов, передаточные

функции);

• каким образом следует соединить их между собой;

• что взять в качестве входов и выходов сети.

Эта задача, на первый взгляд, кажется необозримой, но, к счастью, нам

необязательно придумывать нейросеть "с нуля" - существует несколько

десятков различных нейросетевых архитектур, причем эффективность многих

из них доказана математически. Наиболее популярные и изученные

архитектуры - это многослойный перцептрон, нейросеть с общей регрессией,

сети Кохонена и другие. Про все эти архитектуры скоро можно будет прочитать

в специальной литеретуре.

На втором этапе нам следует "обучить" выбранную сеть, то есть подобрать

такие значения ее весов, чтобы сеть работала нужным образом. Необученная

сеть подобна ребенку - ее можно научить чему угодно. В используемых на

практике нейросетях количество весов может составлять несколько десятков

PDF created with pdfFactory Pro trial version www.pdffactory.com

146

тысяч, поэтому обучение - действительно сложный процесс. Для многих

архитектур разработаны специальные алгоритмы обучения, которые позволяют

настроить веса сети определенным образом. Наиболее популярный из этих

алгоритмов - метод обратного распространения ошибки (Error Back

Propagation), используемый, например, для обучения перцептрона.

Обучить нейросеть - значит, сообщить ей, чего мы от нее добиваемся. Этот

процесс очень похож на обучение ребенка алфавиту. Показав ребенку

изображение буквы "А", мы спрашиваем его: "Какая это буква?" Если ответ

неверен, мы сообщаем ребенку тот ответ, который мы хотели бы от него

получить: "Это буква А". Ребенок запоминает этот пример вместе с верным

ответом, то есть в его памяти происходят некоторые изменения в нужном

направлении. Мы будем повторять процесс предъявления букв снова и снова до

тех пор, когда все 33 буквы будут твердо запомнены. Такой процесс называют

"обучение с учителем".

При обучении сети мы действуем совершенно аналогично. У нас имеется

некоторая база данных, содержащая примеры (набор рукописных изображений

букв). Предъявляя изображение буквы "А" на вход сети, мы получаем от нее

некоторый ответ, не обязательно верный. Нам известен и верный (желаемый)

ответ - в данном случае нам хотелось бы, чтобы на выходе с меткой "А"

уровень сигнала был максимален. Обычно в качестве желаемого выхода в

задаче классификации берут набор (1, 0, 0, ...), где 1 стоит на выходе с меткой

"А", а 0 - на всех остальных выходах. Вычисляя разность между желаемым

ответом и реальным ответом сети, мы получаем 33 числа - вектор ошибки.

Алгоритм обратного распространения ошибки - это набор формул, который

позволяет по вектору ошибки вычислить требуемые поправки для весов сети.

Одну и ту же букву (а также различные изображения одной и той же буквы) мы

можем предъявлять сети много раз. В этом смысле обучение, скорее,

напоминает повторение упражнений в спорте - тренировку.

Оказывается, что после многократного предъявления примеров веса сети

стабилизируются, причем сеть дает правильные ответы на все (или почти все)

примеры из базы данных. В таком случае говорят, что "сеть выучила все

примеры", " сеть обучена" или "сеть натренирована". В программных

PDF created with pdfFactory Pro trial version www.pdffactory.com

147

реализациях можно видеть, что в процессе обучения величина ошибки (сумма

квадратов ошибок по всем выходам) постепенно уменьшается. Когда величина

ошибки достигает нуля или приемлемого малого уровня, тренировку

останавливают, а полученную сеть считают натренированной и готовой к

применению на новых данных.

Важно отметить, что вся информация, которую сеть имеет о задаче,

содержится в наборе примеров. Поэтому качество обучения сети напрямую

зависит от количества примеров в обучающей выборке, а также от того,

насколько полно эти примеры описывают данную задачу. Так, например,

бессмысленно использовать сеть для предсказания финансового кризиса, если в

обучающей выборке кризисов не представлено. Считается, что для

полноценной тренировки требуется хотя бы несколько десятков (а лучше сотен)

примеров.

Повторим еще раз, что обучение сети - сложный и наукоемкий процесс.

Алгоритмы обучения имеют различные параметры и настройки, для управления

которыми требуется понимание их влияния.

Применение нейросети

После того, как сеть обучена, мы можем применять ее для решения

полезных задач. Важнейшая особенность человеческого мозга состоит в том,

что, однажды обучившись определенному процессу, он может верно

действовать и в тех ситуациях, в которых он не бывал в процессе обучения.

Например, мы можем читать почти любой почерк, даже если видим его первый

раз в жизни. Так же и нейросеть, грамотным образом обученная, может с

большой вероятностью правильно реагировать на новые, не предъявленные ей

ранее данные. Например, мы можем нарисовать букву "А" другим почерком, а

затем предложить нашей сети классифицировать новое изображение. Веса

обученной сети хранят достаточно много информации о сходстве и различиях

букв, поэтому можно рассчитывать на правильный ответ и для нового варианта

изображения.

Классификация

Отметим, что задачи классификации (типа распознавания букв) очень

плохо алгоритмизуются. Если в случае распознавания букв верный ответ

очевиден для нас заранее, то в более сложных практических задачах обученная

нейросеть выступает как эксперт, обладающий большим опытом и способный

дать ответ на трудный вопрос.

Примером такой задачи служит медицинская

диагностика, где сеть может учитывать большое

количество числовых параметров (энцефалограмма,

давление, вес и т.д.). Конечно, "мнение" сети в этом

случае нельзя считать окончательным.

PDF created with pdfFactory Pro trial version www.pdffactory.com

148

Классификация предприятий по степени их

перспективности -

это уже привычный

способ использования нейросетей в практике

западных компаний. При этом сеть та

кже

использует множество экономических

показателей, сложным об

разом связанных

между собой.

Нейросетевой подход особенно эффективен в задачах экспертной оценки

по той причине, что он сочетает в себе способность компьютера к обработке

чисел и способность мозга к обобщению и распознаванию. Говорят, что у

хорошего врача способность к распознаванию в своей области столь велика,

что он может провести приблизительную диагностику уже по внешнему виду

пациента. Можно согласиться также, что опытный трейдер чувствует

направление движения рынка по виду графика. Однако в первом случае все

факторы наглядны, то есть характеристики пациента мгновенно

воспринимаются мозгом как "бледное лицо", "блеск в глазах" и т.д. Во втором

же случае учитывается только один фактор, показанный на графике - курс за

определенный период времени. Нейросеть позволяет обрабатывать огромное

количество факторов (до нескольких тысяч) независимо от их наглядности - это

универсальный "хороший врач", который может поставить свой диагноз в

любой области.

Кластеризация и поиск зависимостей

Помимо задач классификации, нейросети широко используются для поиска

зависимостей в данных и кластеризации.

Например, н

ейросеть на основе методики МГУА (метод

группового учета аргументов) позволяет на основе

обучающей выборки построить зависимость одного

параметра от других в виде полинома. Такая сеть может

не только мгновенно выучить таблицу умножения, но и

найти сложные

скрытые зависимости в данных

(например, финансовых), которые не обнаруживаются

стандартными статистическими методами.

Кластеризация - это разбиение набора при

меров на

несколько компактных областей (кластеров), причем

число кластеров заранее неизвестно. Кластеризация

позволяет представить неоднородные данные в более

наглядном виде и использовать далее для исследования

каждого кластера различные методы. Например,

таким

образом можно быстро выявить фальсифицированные

страховые случаи или недобросовестные предприятия.

PDF created with pdfFactory Pro trial version www.pdffactory.com

149

Прогнозирование

Задачи прогнозирования особенно важны для практики, в частности, для

финансовых приложений, поэтому поясним способы применения нейросетей в

этой области более подробно.

Рассмотрим практическую задачу, ответ в которой неочевиден - задачу

прогнозирования курса акций на 1 день вперед.

Пусть у нас имеется база данных, содержащая значения курса за последние

300 дней. Простейший вариант в данном случае - попытаться построить

прогноз завтрашней цены на основе курсов за последние несколько дней.

Понятно, что прогнозирующая сеть должна иметь всего один выход и столько

входов, сколько предыдущих значений мы хотим использовать для прогноза -

например, 4 последних значения. Составить обучающий пример очень просто -

входными значениями будут курсы за 4 последовательных дня, а желаемым

выходом - известный нам курс в следующий день за этими четырьмя.

Если нейросеть совместима с какой-либо системой обработки электронных

таблиц (например, Excel), то подготовка обучающей выборки состоит из

следующих операций:

1. Скопировать столбец данных значений котировок в 4 соседних столбца.

2. Сдвинуть второй столбец на 1 ячейку вверх, третий столбец - на 2 ячейки

вверх и т.д.

Смысл этой подготовки легко увидеть на рисунке - теперь каждая строка

таблицы представляет собой обучающий пример, где первые 4 числа - входные

значения сети, а пятое число - желаемое значение выхода. Исключение

составляют последние 4 строки, где данных недостаточно - эти строки не

учитываются при тренировке. Заметим, что в четвертой снизу строке заданы

все 4 входных значения, но неизвестно значение выхода. Именно к этой строке

мы применим обученную сеть и получим прогноз на следующий день.

Как видно из этого примера, объем обучающей выборки зависит от

выбранного нами количества входов. Если сделать 299 входов, то такая сеть

потенциально могла бы строить лучший прогноз, чем сеть с 4 входами, однако

в этом случае мы имеем всего 1 обучающий пример, и обучение бессмысленно.

При выборе числа входов следует учитывать это, выбирая разумный

PDF created with pdfFactory Pro trial version www.pdffactory.com

150

компромисс между глубиной предсказания (число входов) и качеством

обучения (объем тренировочного набора).

Литература к теме 1.6

1. Костевич Л.С., Лапко А.А. Теория игр. Исследование операций. - Мн.:

Выш. школа, 1982.

2. Брукинг А., Джонс П., Кокс Ф. и др. Экспертные системы. Принципы

работы и примеры / Под ред. Р.Форсайта. М.: Радио и связь, 1987.

3. Герман О.В. Введение в теорию экспертных систем и обработку знаний:

Учеб. пособие. Мн.: ДизайнПро, 1995.

4. Голенда Л.К., Челноков М.А. Экспертные системы и системы поддержки

принятия решений. Мн.: БГЭУ, 1999.

5. Искусственый интеллект: В 3-х кн. Кн.1. Системы общения и экспертные

системы: Справ. / Под ред Э.В. Попова. М.: Радио и связь, 1990.

6. Искусственый интеллект: В 3-х кн. Кн.2. Модели и методы: Справ. / Под

ред Э.В. Попова. М.: Радио и связь, 1990.

7. Искусственый интеллект: В 3-х кн. Кн.З. Программные и аппаратные

средства: Справ. / Под ред Э.В. Попова. М.: Радио и связь, 1990.

8. Попов Э.В., Фоминых И.Б., Кисель Е.Б., Шапот M.Д. и др. Статические

и динамические экспертные системы. М.: Финансы и статистика,

1997.

9. Самаль С.А., Денисенко Н.В. Нечеткие множества в экономике:

Основные понятия и примеры: Учеб. пособие. Мн.: БГЭУ, 1999.

10. Хант Э. Искусственый интеллект. М.: Изд-во "Мир", 1978.

11. Эддоу Дж. Методы принятия решений. М.: Финансы и статистика,

1997.

12. Эддоус М, Стэнсфилд Р. Методы принятия решений: Учеб. пособие:

Пер. с англ. / Под ред. И.И. Елисеевой. М.: Аудит, ЮНИТИ, 1999.

PDF created with pdfFactory Pro trial version www.pdffactory.com