Голицына О.Л., Максимов Н.В. Информационные системы

Подождите немного. Документ загружается.

Параметр «Тип поиска» может принимать одно из трех значений:

Стандартный поиск – означает, что проводится поиск по

сформулированному в окне формирования запроса логическому выра-

жению (реализуется модель механизма поиска по логическому выраже-

нию).

Нечеткий поиск – означает, что скобки в предложении запроса

игнорируются, а логические или контекстные операторы заменяются

оператором OR (ИЛИ

) (т.е. будут отобраны документы, содержащие хо-

тя бы один из терминов предложения запроса в заданной области поис-

ка). При этом множество документов результата делится на кластеры в

зависимости от количества содержащихся в них терминов, соответст-

вующих дескрипторам запроса, а результирующая выдача сортируется в

порядке убывания номера кластера (реализуется модель механизма по-

иска по совпадению терминов).

Только термины запроса – означает, что в результате поиска по

булевоподобному выражению будут отобраны документы, содержащие

в указанных полях только термины, заданные в предложении запроса.

Параметр «

Доопределение выражения» позволяет:

Установить (или отменить) режим поиска с автомаскировани-

ем, т.е. с применением при поиске встроенных процедур нормализации

дескрипторов запроса. В главе 5 представлены правила применения

нормализации при формулировке поискового запроса.

Задать логическое выражение (или одно имя поля) для области

поиска по умолчанию. Область поиска по умолчанию применяется в

предложении запроса к терминам, для которых не задано выражение для

области поиска.

Параметр «

Ограничение выдачи» позволяет установить (или отме-

нить) режим поиска, при котором по предложению запроса отбираются

только новые документы, т.е. документы, которые не были включены

либо ни в одну выдачу в рамках текущего запроса, либо в выдачу по по-

следнему предложению запроса.

8.1.4. Использование формулировок ранее сохраненных запросов

Механизм сохранения/чтения запросов позволяет многократно ис-

пользовать поисковые запросы. Запросы могут храниться либо в отдель-

ных файлах (один из файлов с зафиксированным системным идентифи-

катором выделен для общей Папки Запросов), либо в БД в структуре

частотных словарей. В случае сохранения запроса в отдельном файле

могут быть сохранены только тексты предложений запросов или пред-

ложения запросов вместе с поисковыми результатами.

Использовать ранее сохраненный запрос в дальнейшем можно как

единое целое (весь набор поисковых предложений) или по отдельным

предложениям.

Для работы с ранее сохраненными запросами служит интерфейс-

ная форма «

Запрос для БД» (рис. 8.6). Семантика формы следующая:

Выделить - выделение одного и более предложений запроса

для дальнейшего использования;

Редактировать - редактирование выделенных предложений

запроса;

Читать Запрос – перенести выделенные предложения запроса

вместе с их поисковыми результатами в текущий запрос;

Поиск по Запросу – инициировать автоматическое выполнение

поисковой процедуры для выделенных предложений запроса.

Рис. 8.7. Использование ранее сохраненных запросов

Общая «Папка запросов» – это средство, которое позволяет накап-

ливать и в дальнейшем использовать поисковые (логические) выражения

запросов, независимо от того, для какой базы данных они были подго-

товлены. При этом в папку заносятся только тексты предложений запро-

сов, а не результат - список идентификаторов документов, найденных по

ним.

Использовать предложения запросов, помещенные в папку, можно

по общей технологии работы с сохраненными запросами, за исключени-

ем возможности «Читать запрос» (рис. 8.8).

Рис. 8.8. Работа с папкой запросов

8.2. Средства и технологии поиска документов по сходству

Стратегия творческого поиска в больших массивах документов

обычно нацелена на выявление нового знания или новых логических

связей, порождаемых непосредственно в процессе просмотра, т. е. пря-

мого взаимодействия пользователя с документами. Просмотровая функ-

ция рассматривается в данном контексте как эвристическая модель, ори-

ентированная на изменение у пользователя существующих границ субъ-

ективного знания путем отыскания документов, не являющихся фор-

мально релевантными, а также путем динамического управления ин-

формационной средой.

Как было показано при анализе информационной модели воспро-

изводства знаний, требование «адекватного информирования» в автома-

тизированных информационно-поисковых системах может быть реали-

зовано двойной реформулировкой запроса по технологии обратной свя-

зи по релевантности: построением на основе лексики истинно релевант-

ных документов словников, термины которых в свою очередь размеча-

ются с точки зрения их способности смысловыражения темы и, далее,

используются в качестве выражения запроса для следующей итерации

поиска.

Существенно то, что здесь мы имеем два типа обратной связи. Для

построения словников на основе лексики документов, определяемых

пользователем как истинно релевантные, используется «внешняя» об-

ратная связь. Для построения реформулированного запроса использует-

ся уже «внутренняя» обратная связь, позволяющая выделить значимые

термины (ранжированием или кластеризацией по статистическим пока-

зателям). Соответственно, для построения словников могут использо-

ваться разные методы, что позволяет, в свою очередь, иметь разные

«стратегии» реформулирования, реализуемые разными технологически-

ми (интерфейсными) средствами. Возможность совместного использо-

вания нескольких стратегий поиска позволяет реализовать процесс ите-

рационного повышения эффективности поиска путем генерации новых

ПОЗов, учитывающих как «ситуационную» (проблемную) ориентацию

запроса, так и «тематические» свойства массива документов.

Для класса документальных систем, где основными (базовыми)

объектами являются документ и термин, может быть построено конеч-

ное множество механизмов поиска, основанных на технологии рефор-

мулирования запроса по обратной связи.

Технологическая схема поиска, иллюстрирующая использование

различных механизмов поиска, приведена на рис. 8.14.

8.2.1. Поиск аналогов

Функция поиска аналогов позволяет осуществить поиск докумен-

тов по сходству с содержимым заданных полей текущего документа, ко-

торый в текущее время доступен в окне просмотра документов. Условие

отбора задается в виде:

<Имя поля >:<число>

где <число > - количество терминов, совпадающих с терминами

указанного поля. Допускается логическая комбинация условий (рис.

8.9).

Рис. 8.9. Поиск документов-аналогов по логическому выражению

При поиске аналогов «по умолчанию» будут взяты поисковые по-

ля, объявленные в схеме используемыми «по умолчанию», и пороговые

значения, дающие не пустой результат.

8.2.2. Эвристический поиск

Эвристический поиск – это поиск документов по динамически

формируемому критерию, использующему статистически значимые сло-

ва, выбираемые из текстов документов, отмеченных пользователем при

просмотре как релевантные.

Найденные документы упорядочиваются в соответствии со значи-

мостью, определяемой статистически в контексте релевантности доку-

ментов - результатов поиска по текущему (выделенному в запросе)

предложению. Количество документов в выдаче ограничивается соот-

ветствующим системным параметром.

Для проведения эвристического поиска необходимо при просмот-

ре документов отметить как релевантные те документы, которые дейст-

вительно соответствуют теме (а не только содержат термины поискового

условия) – т.е. сформировать множество документов для эвристического

поиска.

Эвристический поиск можно проводить по любому предложению

запроса.

8.2.3. Поиск по обратной связи

Поиск по обратной связи реализуется, например, через последова-

тельность взаимосвязанных этапов:

отбор и выделение множества релевантных документов;

построение ранжированного словника релевантных документов

и предоставление словника пользователю;

выбор терминов словника для формирования информационного

пространства;

разбиение построенного информационного пространства на

кластеры и предоставление пользователю возможности для просмотра

документов каждого отдельного кластера.

Особенностью реализации является возможность использования

результатов, полученных на каждом этапе, для дальнейшего изменения

стратегии поиска (так, например, термины, отобранные при просмотре

словника релевантных документов, могут быть просто использованы для

расширения запроса и проведения поиска по логическому выражению).

Рассмотрим порядок выполнения этапов на следующем примере.

Пусть исходное предложение запроса на поиск по логическому

выражению в БД «Информатика» было следующим:

KW : ‘Поисковые стратегии’

При просмотре текстов документов-результатов поиска все из них

были отмечены пользователем как релевантные. Тогда будет построен и

выведен пользователю в ранжированном представлении следующий

словник (для ранжирования использован интегральный коэффициент

2 ВЕКТОРНЫЕ МОДЕЛИ 1,037520473

5 ИНФОРМАЦИЯ О РАБОЧИХ МЕСТАХ 0,626009986

5 ПРЕДСТАВЛЕНИЕ ДОКУМЕНТОВ 0,602280990

7 РЕШЕНИЕ ПРОБЛЕМ 0,492237706

8 АССОЦИАТИВНЫЙ ПОИСК 0,454205158

23 РАЗРАБОТКА 0,440147604

12 КЛАСТЕРИЗАЦИЯ 0,329185167

15 ПОИСК ИНФОРМАЦИИ 0,310164008

18 ЗАВИСИМОСТЬ 0,256065252

24 ПОИСКОВЫЕ СРЕДСТВА 0,232370300

23 ПРОИЗВОДИТЕЛЬНОСТЬ 0,219695378

59 ОПРЕДЕЛЕНИЯ 0,120537948

59 ЭКСПЛУАТАЦИЯ 0,120537948

102 ОБЕСПЕЧЕНИЕ ДОСТУПА 0,092969592

88 СРЕДСТВА 0,092775247

90 ПОНЯТИЯ 0,091405883

255 АИПС 0,091326155

134 СВОДНЫЕ КАТАЛОГИ 0,077708893

169 ТИПЫ 0,059747985

241 ТЕНДЕНЦИИ РАЗВИТИЯ 0,052260958

261 ИНТЕРАКТИВНЫЙ ДОСТУП 0,049447866

231 РЕЗУЛЬТАТЫ 0,048036882

285 ИНФОРМАЦИОННЫЕ ЗАПРОСЫ 0,046496765

Голицына О.Л. Моделирование и разработка средств и технологий поиска документальной инфор-

мации - диссертация на соискание ученой степени кандидата технических наук. – М.: РГГУ, 2004

282 АИС 0,041655815

371 ИНТЕРАКТИВНЫЕ КАТАЛОГИ 0, 038532128

1973 ИНФОРМАЦИОННЫЙ ПОИСК 0,034875966

388 ИПС 0,032947558

423 ЭКСПЕРИМЕНТЫ 0,030870876

1309 ПОЛЬЗОВАТЕЛИ 0,026564388

591 МОДЕЛИ 0,023797976

805 ИНТЕРФЕЙСЫ 0,018443519

960 АНАЛИЗ 0,015820678

1252 ИНФОРМАЦИОННЫЕ СЕТИ 0,014472937

1241 ИНФОРМАТИКА 0,012474870

4886 ОБЗОРЫ 0,006685146

4153 БАЗЫ ДАННЫХ 0,002837892

В первой колонке словника – частота термина в БД, во второй ко-

лонке – сам термин, а в третьей колонке – значение весового коэффици-

ента.

Далее пользователь отмечает некоторые термины словника (в спи-

ске они выделены курсивом) и либо добавляет их в исходный запрос са-

мостоятельно, либо запускает процедуру построения информационного

пространства и кластеризации. После этого пользователь получает дос-

туп к просмотру через протокол ненулевых результатов следующих

предложений запроса (идентифицируемых отдельными терминами или

сочетаниями терминов, выделенных в словнике курсивом):

KW : (‘ВЕКТОРНЫЕ МОДЕЛИ’ and ‘КЛАСТЕРИЗАЦИЯ’) {1}

KW : (‘АССОЦИАТИВНЫЙ ПОИСК’ and ‘ПОИСКОВЫЕ СРЕДСТВА’) {1}

KW : (‘ВЕКТОРНЫЕ МОДЕЛИ’) {2}

KW : (‘АССОЦИАТИВНЫЙ ПОИСК’) {8}

KW : (‘КЛАСТЕРИЗАЦИЯ’) {12}

KW : (‘ПОИСК ИНФОРМАЦИИ’) {15}

KW : (‘ПОИСКОВЫЕ СРЕДСТВА’) {24}

После просмотра документов отдельных предложений запроса и

выделения нового множества релевантных документов процедуры по-

строения словника и кластеризации могут быть заново инициированы, и

так до тех пор, пока полученный совокупный результат (а все получен-

ные пользователем результаты хранятся системой и в любой момент мо-

гут быть объединены в общее множество) не удовлетворит пользовате-

ля.

8.3. Технологические объекты построения предложения запроса

Для задания дескрипторов предложения запроса могут использо-

ваться следующие технологические объекты:

частотный словарь;

тематический рубрикатор;

тезаурус;

иерархический словник.

Как показывают многочисленные исследования, наибольший эф-

фект достигается при совместном использовании словарных и рубрика-

ционно-классификационных систем.

Функциональные (интерфейсные) решения, обеспечивающие гиб-

кое использование внешних по отношению к БД объектов, представлены

в ИПС IRBIS в виде отдельной функционально-интерфейсной формы,

позволяющей унифицировать отображение иерархических словарных

структур и имеющей средства построения поисковых запросов (рис.

8.10).

Рис. 8.10. Отображение и использование тематического рубрикатора

8.3.1. Частотный словарь

Словарь включает термины (слова и словосочетания) из докумен-

тов базы данных с частотой их встречаемости.

Использование словаря как средства построения предложения за-

проса особенно эффективно для начинающих пользователей (для озна-

комления с терминологией базы данных и контроля правильности напи-

сания поисковых терминов). Словарь доступен для просмотра (и редак-

тирования термина перед включением его в предложение запроса) при

переходе к одному из основных режимов формирования запроса (см.

рис.8.1, 8.5).

Наличие при термине такого параметра, как частота встречаемости

позволяет оценить размер предполагаемой выдачи, если данный термин

будет включаться в предложение запроса.

8.3.2. Тематический рубрикатор

Тематический рубрикатор представляет собой иерархический те-

матический указатель, подготовленный в специальном формате для од-

ной или нескольких баз данных и проведения тематического поиска.

Поиск можно проводить как по отдельной рубрике, так и набору рубрик.

Физически тематический рубрикатор представляет собой тексто-

вый файл операционной системы, подготовленный с использованием

символов табуляции для идентификации уровней иерархии. Такой руб-

рикатор может быть создан пользователем самостоятельно (см. рис.

8.10).

8.3.3. Тезаурус

Напомним, что тезаурус представляет собой контролируемый ие-

рархический словарь терминов, называемых дескрипторами. Значение

тезауруса, как одного из главных компонентов документальной инфор-

мационно-поисковой системы, весьма велико. Во-первых, тезаурусы ис-

пользуются для индексирования и поиска информации, улучшая каче-

ство поиска, во-вторых - для снятия неоднозначности и задания различ-

ных отношений между терминами в естественном языке. Тезаурус также

может быть использован как одно из основных средств организации

диалога между пользователем и информационным ресурсом в ИПС.

В ИПС IRBIS Тезаурус реализован в виде двухуровневого дерева,

на верхнем уровне которого находятся дескрипторы, а на нижнем – их

связи. Пример фрагмента Тезауруса по информатике представлен ниже:

ВЫДАЧА ЛИТЕРАТУРЫ

SN выдача книг

CM выдача документов

BT БИБЛИОТЕЧНОЕ ОБСЛУЖИВАНИЕ

RT АБОНЕМЕНТ

RT БИБЛИОТЕКИ

RT КНИГОВЫДАЧА

ВЫСОКАЯ ПЕЧАТЬ

BT ОПЕРАТИВНАЯ ПОЛИГРАФИЯ

BT ПЕЧАТЬ

ВЫСТАВКИ

SN экспозиции

NT ВДНХ СССР

NT МЕЖДУНАРОДНЫЕ ВЫСТАВКИ

NT ТЕМАТИЧЕСКИЕ ВЫСТАВКИ

RT НАУЧНО-ТЕХНИЧЕСКАЯ ПРОПАГАНДА

ВЫСШЕЕ ОБРАЗОВАНИЕ

BT НАРОДНОЕ ОБРАЗОВАНИЕ

RT ВУЗЫ

ВЫХОДНЫЕ ДАННЫЕ

BT БИБЛИОГРАФИЧЕСКИЕ ОПИСАНИЯ

Для повышения эффективности поиска информации используются

связи дескрипторов Тезауруса, позволяющие автоматически включать,

например, вышестоящие, нижестоящие, ассоциативные дескрипторы

вместе с основным дескриптором в запрос рис. 8.11).

Рис. 8.11. Отображение и использование тезауруса