Витяев Е.Е. Извлечение знаний из данных. Компьютерное познание. Модели когнитивных процессов (2006)

Подождите немного. Документ загружается.

141

Таблица 5.

Сравнительное качество методов, использующих

игровые стратегии 1995–1996г.

Характеристики Активная торго-

вая стратегия

Buy-and-hold

Средние инвестиции за 1995–1996 гг. 994.53 2668.7

Общее число акций 48 48

Прибыли за 1995–1996 гг. 1059.87 228.44

Прибыль (% к полученному капиталу) 52.92 % 7.88 %

Прибыль (% к средним торговым ин-

вестициям)

106.57 % Не применимо

Прибыль (% к начальным buy-and-hold

инвестициям)

Не применимо 8.56 %

Активная торговля по стратегии игры, основанной на обнаруженных

закономерностях, дала прибыль 1059.87$ (для 48 акций) в отличие от

228.37$ в стратегии buy-and-hold для тех же самых 48 акций (см. таблица

5). Для упрощения анализа все налоги игнорируются. Начальные инвести-

ции, используемые в активной стратегии, намного меньше (169.68) с об-

щими инвестициями более чем за два года,

равные 994.53 в отличие от

2668.7 в стратегии buy-and-hold. Это означает, что активная стратегия не

требует «замораживания» средств 2 668.7$ в акциях в течение двух лет.

Рис. 14

142

Выйгрыш составил 52.92 % к конечному капиталу для активной стратегии

по отношению к прибыли 7.88 % к конечному капиталу для стратегии buy-

and-hold (см. таблица 5). Поэтому, активная стратегия выиграла у страте-

гии buy-and-hold. Рис. 14 показывает динамику выгоды / потери в течение

1995–1996 гг. Рис. 14 показывает, как активная стратегия выиграла у стра-

тегии buy-and-hold. Кроме того, он показывает качество работы

обеих

стратегий. Торговые дни пронумерованы на этих рисунках от 1 до 55. Эти

дни были выбраны в период 1995–1996 обнаруженными закономерностя-

ми для прогноза

. Используемые правила были применимы только к этим

дням 1995–1996.

§ 58. Результаты сравнения с другими методами

Таблица 6 показывает сравнение качества прогноза системы Discovery c

другими методами. Данные для этого эксперимента описаны в § 55. Из

таблицы видно, что система

Discovery по проценту правильного прогноза

превосходит другие методы.

Данные 1998 г. использованы от 01.01.98 до 10.31.98.

Таблица 6

Качество прогноза полученного различными методами

Метод Процент правильного прогноза

SP500C

1995–1996 1997–1998* 1995–1998

Свободный от риска (3 %) N/A N/A

Нейронная сеть 68 % 57 62.5 %

Правила, извлеченные из NN (кос-

венная оценка)

≤ 68 % ≤ 57 % ≤ 62.5 %

Дерево решений (Sipina) 67 % 60 % 64 %

Discovery 78 % 85 % 81.5 %

FOIL 50.50 % 45.40 % 47.95 %

143

Таблица 7.

Сравнение различных стратегий игры за год для SP500

Годовая прибыль в торговой игре (% от инвести-

ций)

Метод

1995–1996 гг.

1997–1998

гг.

Среднее 1995–1998 гг.

Adaptive Linear 21.9 18.28 20.09

Discovery 26.69 43.83 35.26

Buy-and-Hold 30.39 20.56 25.47

Risk-Free 3.05 3.05 3.05

Neural Network 18.94 16.07 17.5

Рис. 15

S&P500 за период 1995-1996 гг.

144

Наиболее интересно сравнение системы

Discovery со стратегией Buy-

and-Hold (B&H). Стратегия B&H немного выиграла у

Discovery в

1995–1996 гг. (30.39 % для B&H и 26.69 % для

Discovery, таблица 7).

С другой стороны,

Discovery значительно выиграл Buy-and-Hold за

1997–1998 гг. (43.83 % для

Discovery и 20.56 % для B&H, см. таблица 7)

Рассмотрим причины различия в прибыли за 1995–1996 гг. и

1997–1998 гг. периоды. Рис. 15 показывают динамику SP500. В течение

1995–1996 гг. SP500 имел почти линейную тенденцию роста, но для

1997–1998 гг. все обстояло иначе. Легко показать, что B&H почти оптима-

Сравнение различных стратегий игры для SP500 (1995–1996 гг.)

Рис. 16

145

лен для таких данных. Поэтому получение прибыли, близкой к той, что

получена B&H, означает:

Discovery также близка к лучшей прибыли

(26.69 % прибыли

Discovery и 30.39 % для B&H).

Для 1997–1998 гг. ситуация значительно отличается. Индекс SP500

имел намного больше изменчивости для 1997–1998 гг., чем для

1995–1996 гг.

Эти данные составляют намного более твердый тест на стратегию buy-

and-hold. Очевидно, buy-and-hold не дает максимальную прибыль для та-

ких данных. Buy-and-hold не имеет механизма, чтобы приспособиться к

новой тенденции, но

Discovery имеет эти способности. Поэтому Discovery

по текущей информации эффективно применяет обнаруженные правила.

Фактически, эти способности привели к значительной выгоде (43.83 %

ежегодно).

§ 59. Выводы из финансовых приложений

Реляционный подход к извлечению данных имеет несколько важных

преимуществ, полученных теоретически в предыдущих главах. Вычисли-

тельные эксперименты, представленные в этой главе показали эти пре-

имущества на реальных финансовых данных.

Реляционный подхода к извлечению знаний и метод

Discovery в со-

стоянии обнаруживать закономерности в таких сильно зашумленных дан-

ных, как финансовые ряды, и прогнозировать такие сложные данные, как

курсы акций и индексов.

В течение многих лет методы логики первого порядка применялась, в

основном, других областях, например, экологии, медицины, фармакологии

[101; 132; 142–143]. Эксперименты, представленные в этой главе показы-

вают, что логические

методы извлечения знаний в языке первого порядка в

состоянии обнаружить закономерность в финансовом временном ряду.

Эти финансовые задачи представляют серьезный вызов для всех методов

KDD&DM.

Методы реляционного подхода к извлечению знаний имеют неограни-

ченные возможности к объединенному использованию индикаторов, кото-

рые необходимы для реальных торговых систем. Кроме того, реляционные

методы обеспечивают

практически неограниченные возможности в фор-

мулировании и проверке различных гипотез, которые не могут быть сфор-

мулированы другими методами. Класс гипотез H4 уже показал преимуще-

ства перед гипотезами, проверенными в других методах. Однако этот

класс гипотез представляет только самый первый шаг в изобретении фи-

нансовых гипотез.

146

ГЛАВА 6. ПРИЛОЖЕНИЯ РЕЛЯЦИОННОГО ПОДХОДА

В МЕДИЦИНЕ.

§ 60. Диагностика рака груди. Постановка задачи

Это исследование описывает метод, который может обнаружить совме-

стное множество логичных диагностических правил для диагностики рака

груди. Эти правила могут служить в качестве ядра компьютерной диагно-

стической системы. Цель компьютерной диагностической системы состоит

в том, чтобы обеспечить второе диагностическое мнение, часто требуемое

в медицинской диагностике. Совместность диагностических правил озна-

чает, что

нет никаких противоречий между правилами компьютерной ди-

агностической системы, правилами, используемыми опытным радиологом,

и базой данных патологически подтвержденных случаев. Мы развили ме-

тод обнаружения совместного множества диагностических правил [117–

119; 123; 125–126]. Преимущества метода показаны на примере разрабо-

танной компьютерной диагностической системы для рака груди.

Есть несколько современных подходов для извлечения знаний в меди

цине, некоторые из которых произошли из области искусственного интел-

лекта. Рассмотрим возможности применения этих методов для медицин-

ского диагноза, учитывая особенности маммограмм. В США рак груди –

наиболее часто встречаемый женский рак [162]. Наиболее эффективный

Рис. 17

147

Рис. 18. Низкая плотность, плохо определенная масса и связанные

метод в борьбе против рака груди – скрининг маммограмм. Однако было

обнаружено, что есть значительная интра- и интернаблюдателя вариабель-

ность маммографической интерпретации (до 25 %). Дополнительно, не-

сколько ретроспективных исследований нашли, что ошибка варьируется в

пределах от 20 до 43 %. Эти данные ясно демонстрируют потребность

улучшить надежность маммографической интерпретации.

Рассмотрим проблему идентификации случаев, подозрительных на рак

молочной железы, используя маммографическую информацию о сгруппи-

рованных кальцинозах. Примеры маммографических изображений со

сгруппированными кальцинозами показаны на рис. 17–19. Кальцинозы за-

мечены в большинстве маммограмм и обычно указывают на наличие доб-

рокачественного кистозно-фиброзного изменения. Однако определенные

особенности могут указать на наличие злокачественного развития. Пред-

ставленные снимки демонстрируют широкий спектр проявлений,

которые

могут быть представлены в маммограммах, напимер, рис. 17 показывает

кальцинозы, которые необычны по размеру и форме. Они являются дока-

занной биопсией злокачественного типа кальцинозы. Кальцинозы показы-

вают нерегулярные контуры и изменяются по размеру и форме.

Рис. 18 представляет группу кальцинозов в пределах малой плотности

148

неточно указанной массы. Снова, эти кальцинозы изменяются по размеру,

форме и плотности, предлагая, что их причиной является рак.

Наконец, рис. 19 пример карциномы, которая произвела высокоплот-

ный узел с нерегулярными игольчатыми краями.

В то время как в области рака присутствуют кальцинозы, почти все они

сферические по форме и похожи по плотности.

Эта высокая степень зако-

номерности предполагает доброкачественное происхождение. В биопсии,

узелок оказался раковой опухолью, в то время как кальцинозы были связа-

ны с доброкачественным кистозно-фиброзным изменением.

Существуют компьютерные диагностические исследования, которые

стремятся улучшить ситуацию [97; 142–143; 152–153].

Обычно извлечение знаний в медицинской диагностике включает два

основных шага:

(S1) извлечение диагностических признаков;

(S2) извлечение

диагностических правил, основанных на этих призна-

ках.

Типичное извлечение знаний в диагнозе рака груди включает:

(C1) несколько сотен единиц данных,

(C2) приблизительно дюжину диагностических признаков, данных ли-

Рис. 19

149

бо извлеченных из изображений,

(C3) процесс извлечение знаний.

Нейронные сети, методы ближайшего соседа, дискриминантный ана-

лиз, кластерный анализ, линейное программирование и генетические алго-

ритмы – это наиболее известные методы извлечения знаний. Анализ дан-

ных в других областях имеет тенденцию использовать большие базы дан-

ных и обнаруживать большие наборы правил, используя эти методы

. В то

же самое время архивы маммографии в больницах во всем мире содержат

миллионы результатов биопсии и маммограмм. В настоящее время Амери-

канский Колледж Рентгенологии (ACR) поддерживает национальную базу

данных маммографии, проект (http://www.eskimo.com/~ briteoo/nmd) с объ-

единенным набором признаков [92]. Несколько университетов и больниц

создали базы данных изображений маммографии, которые являются дос-

тупными в

Интернете. Такие усилия обеспечивают возможность масштаб-

ного анализа данных и извлечения знаний в диагностике рака груди. Ана-

лиз данных в бизнес приложениях применениях показал, что большая база

данных может быть источником полезных правил, но полезные правила

могут сопровождаться большим набором несоответствующих или непра-

вильных правил. Много времени необходимоэксперту для отбора только

нетривиальных правил. Мы предлагаем метод извлечения правил совмес-

тимых с экспертным мнением.

Традиционные экспертные системы опираются на диагностические

правила, извлеченные из эксперта. Системы, основанные на методах

Machine Learning, опираются на имеющиеся базы данных для того, чтобы

обнаружить диагностические правила. Эти два множества правил могут

противоречить друг другу. Радиолог, возможно, не доверяет правилам, по-

скольку они могут противоречить его / ее правилам и опыту. Также радио-

лог может иметь сомнительные или неправильные правила, в то время как

базы данных и

снимков могут иметь сомнительные или неправильные от-

четы. Это делает проект автоматизированной диагностической системы

чрезвычайно сложным.

В нем можно выделить две задачи:

(T1) идентифицировать противоречия между диагностическими прави-

лами и

(T2) устранить противоречия.

Если первая задача решена, ко второй можно приблизиться при помо-

щи чистки записей в базе данных, добавлением признаков, использовани

ем более сложных методов извлечения правил и проверкой компетентно-

сти медицинского эксперта.

В работе мы концентрируемся на извлечении правил из эксперта и из

данных, а затем из идентификации противоречий. Если извлечение правил

150

выполнено не имея в виду эту цель, то трудно найти противоречия. Кроме

того, правила, извлеченные из данных и из эксперта, могут быть неполны-

ми, поскольку охватывают только маленькую часть возможных комбина-

ций признаков. Это может сделать невозможным подтвердить совмести-

мость правил с базой данных. Дополнительные новые случаи или призна-

ки

могут сделать эти противоречия видимыми. Поэтому главная проблема

здесь – обнаружить достаточные, полные и сопоставимые наборы правил,

извлеченных из данных и экспертных правил. Полнота является критиче-

ской для сравнения. Например, предположим, что эксперт и правила, вы-

водимые из данных, охватывают только 3 % возможных комбинаций при-

знаков и предполагают, что нет никаких противоречий между

этими пра-

вилами, тем не менее остается огромное место для противоречий на ос-

тающихся 97 % случаев.

Мы разработали методы обнаружения полных наборов экспертных и

выводимых из данных правил. Эта цель приводит нас к экспоненциальной

и сложной проблеме извлечения диагностических правил. Лобовой метод

может потребовать задания тысяч вопросов эксперту. Это известная про-

блема при разработке экспертных систем. Например, для 11 бинарных ди-

агностических признаков сгруппированных кальцинозов есть (2

= 2 048)

комбинаций признаков, каждый из которых представляет новый случай.

Лобовой метод потребовал бы опроса радиолога для каждой из этих 2 048

комбинаций.

Дополнительная проблема состоит в том, что в попытке проанализиро-

вать сложную систему, для экспертов может быть трудно или даже невоз-

можно ясно и уверенно сформулировать большое количество взаимодей-

ствий между признаками.

Обычно порядка 60–70 % времени при разработ-

ке системы, основанной на правилах, тратиться на извлечение знаний. Та-

ким образом, инженерия знаний при извлечении сотен правил становится

узким местом в этом процессе. Возможно самая важная причина для рас-

смотрения подхода, основанного на экспертных системах, состоит в том,

что системы, основанные на правилах, стремятся вести

себя как эксперт.

Это показывает «чувство» эксперта по объяснению и оправданию заклю-

чения. Эксперт обдумывает альтернативные сценарии и, говорит: «Я ду-

маю, что при обстоятельствах, X, наиболее вероятное заключение – Y, но

если есть дополнительный факт, скажем F, то более вероятное заключение

могло бы быть P». Если проблема «разложима

», взаимодействия между

переменными ограничено и эксперт может ясно сформулировать процесс

принятия решений надежно, то подход, основанный на правилах, подходит

для создания диагностической системы и она может хорошо себя показать.

Мы разработали эффективный механизм для декомпозиции знаний на

основе свойства монотонности для решения этой проблемы.