Алешин Л.И., Максимов Н.В. Информационные технологии

Подождите немного. Документ загружается.

241

Средства и интерфейсные объекты в поисковых технологиях

Для обеспечения эффективного поискового процесса как направ-

ленной локализации информационного пространства необходимо нали-

чие интерфейсных объектов и средств, поддерживающих персонифици-

рованную предметную идентификацию (в том числе иерархического ти-

па) отдельных информационных объектов и коллекций.

Использование словарных и рубрикационных структур при

подготовке и обработке запроса

В большинстве информационных систем помимо традиционных

частотных словарей применяются различные средства, имеющие лин-

гвистическую природу, например, тематические рубрикаторы, тезауру-

сы, словари неинформативных лексических единиц (СНЛ), словари си-

нонимов (как и тезаурусы, позволяют осуществлять поиск не только по

запрошенному слову, но и по его синонимам), словари словосочетаний

(ССЛ).

Рассмотрим словарные структуры, наиболее часто использующие-

ся при поиске и формировании документальных БД.

1. Словарь отрицаний («стоп-слов») – содержит термины, при-

знанные не информативными для данной предметной области. Исполь-

зование их запрещается для индексирования содержания документов.

Например, термины «исследование», «вопросы», «требования», «про-

блемы» и др.

Словарь стоп-слов может использоваться как при построении час-

тотных словарей, так и при разборе ИПЯ-выражения запроса. Запрещён-

ные термины не заносятся в словарь. Таким образом, неинформативные

термины автоматически исключаются из поискового процесса.

2. Тезаурус представлят семантическую сеть, в которой понятия

связаны регулярными и устойчивыми семантическими отношениями –

иерархическими (например, род – вид, целое – часть), ассоциативными и

отношениями эквивалентности. При этом термин тезауруса представля-

ет слово или словосочетание, соотносящееся с понятием определенной

области знаний, вступающее в системные отношения с другими терми-

нами и образующее вместе с ними замкнутую систему, отличающуюся

высокой информативностью, однозначностью и точностью.

Тезаурус используется, во-первых, при индексировании информа-

ционных массивов; во-вторых, для расширения терминов поисковых за-

просов зафиксированными в тезаурусе близкими по смыслу терминами;

в-третьих, для рубрицирования документов.

3. Словарь синонимов определяет одну или больше синонимичных

категорий для каждого входа словаря. Такие словари широко использу-

ются при индексировании, а также позволяют искать не только по за-

прошенному слову, но и по его синонимам.

4. Морфологический словарь содержит основы слова, приставок,

242

окончаний. Он может быть использован, с одной стороны, для нормали-

зации поисковых образов документов, а с другой – для нормализации

лексики поисковых запросов.

5. Словарь словосочетаний используется для определения наибо-

лее часто встречающихся устойчивых комбинаций слов. Словарь повы-

шает эффективность анализа содержания, выделяя для идентификации

содержания однозначные словосочетания вместо множества в общем

случае неоднозначных слов (например, пара отдельных терминов «про-

грамма» и «язык» является менее определенной, чем словосочетание

«язык программирования»).

6. Частотный словарь – перечень дескрипторов и ключевых слов.

Термины располагаются в алфавитном порядке, либо в порядке убыва-

ния (возрастания) частоты использования их в информационном масси-

ве.

7. Иерархическая организация терминов или понятий, подобная

схеме библиотечной классификации и позволяющая для данного входа

словаря найти более широкое понятие, перемещаясь вверх по схеме, или

более узкое, перемещаясь вниз по схеме.

Указатель иерархических отношений дескрипторов может быть

создан только после решения проблемы классификации понятий. Он

разрабатывается на основе классификационных схем понятий, посколь-

ку фактически в иерархическом указателе находят отражение иерархи-

ческие цепочки подчинения понятий, зафиксированные в классификаци-

онных схемах.

В качестве основных входов этого указателя выбираются только те

заглавные дескрипторы тезауруса, которые не имеют родовых дескрип-

торов (т. е. стоят на верхней ступени иерархического дерева) и имеют не

менее двух уровней подчинения (видовых дескрипторов). Для остальных

дескрипторов подчиненные термины могут быть найдены непосредст-

венно в лексико-семантическом собрании терминов.

8. Иерархическо-фасетные классификации – УДК, ББК, Междуна-

родная классификация изобретений (МКИ), рубрикатор ГАСНТИ, руб-

рикатор ВИНИТИ и др.

Классификация документов по темам (рубрикам) может оказать

большую помощь при поиске, например в случае, если пользователь за-

трудняется точно подобрать ключевые слова, или же, если он хочет су-

зить область поиска, уточнив тематику, по которой следует искать до-

кументы. Поиск по теме обладает более высокой точностью и полнотой

по сравнению с традиционным поиском. Так, если поиск по совпадению

терминов находит все документы, содержащие заданные в запросе сло-

ва, то тематический поиск возвращает лишь те документы, которые со-

ответствуют ключевым темам. Кроме того, он позволяет найти докумен-

ты, вовсе не содержащие слов из названия заданной темы, однако

имеющие к ней отношение.

Характер использования терминологических структур в процессах

243

информационного поиска приведен в таблице 13-1.

Таблица 13-1

Характер использования терминологических структур

в процессах информационного поиска

Название Состав и структура

Использование при

поиске

Использование при

формировании

информационных

массивов

Словарь

стоп-слов

Термины, не являющиеся

информативными (запре-

щены к использованию)

Применяется на этапе

анализа поискового

запроса. Если в запро-

се есть неинформатив-

ные термины, то поиск

по ним не проводится

Используется при по-

строении частотных

словников. Запрещенные

слова не заносятся в

словарь

Тезаурус Дескрипторы и клю-

чевые слова, связан-

ные между собой па-

радигматическими от-

ношениями

Используется для фик-

сирования переходов

от многих синонимов к

единым классам поня-

тий.

Используется

Морфоло-

гический

словарь

Словарь основ, при-

ставок, окончаний.

Используется для нор-

мализации лексики

поисковых запросов.

Используется для нор-

мализации поисковых

образов документов

Словарь

синонимов

Для каждого входа

словаря определяется

одна или больше си-

нонимичных катего-

рий

Используется для со-

ставления и расшире-

ния запросов (путем

добавления к терми-

нам запроса синони-

мов).

Используются для ин-

дексирования информа-

ционного массива клю-

чевыми словами

Словарь

словосоче-

таний

Словосочетания - наи-

более часто встре-

чающиеся комбина-

ции слов

Используется при со-

ставлении запросов

для замены последова-

тельности слов слово-

сочетанием

Используется для анали-

за содержания, выделяя

для идентификации со-

держания однозначные

словосочетания вместо

двух или более неодно-

значных слов

Частотный

словарь

Дескрипторы и клю-

чевые слова, упорядо-

ченные в алфавитном

порядке или по часто-

те

Используется частота

встречаемости термина

в информационном

массиве для расшире-

ния, усечения запроса

Используется для индек-

сирования информаци-

онного массива в систе-

мах с фиксированным

словарем

Иерархи-

ческая ор-

ганизация

терминов

Термины, упорядо-

ченные на основе ие-

рархической класси-

фикации

Позволяет для данного

входа словаря найти

более широкое поня-

тие, или более узкое.

Используется при

формировании поис-

кового запроса

Используется для индек-

сирования информаци-

онного массива ключе-

выми словами.

244

Поисковый аппарат. Информационно-поисковый язык

Поскольку автоматизированная система является инструментом,

используемым человеком при поиске, а не интеллектуальным автома-

том для поиска информации (готовых решений задач основной деятель-

ности), эффективность её использования зависит от того, насколько хо-

рошо человек знает природу объектов и свойства инструмента, посред-

ством которого он с этими объектами работает.

Особенностью поискового процесса, рассматриваемого как взаи-

модействие двух систем представления знаний, является многоуровне-

вость и, часто, неоднородность объектов в цепи информационных пре-

образований. Операционными объектами, непосредственно участвую-

щими во взаимодействии (сравнении потребности и документов в базе

данных), являются поисковый образ документа и поисковый образ за-

проса, соответствие которых на формальном уровне устанавливается

поисковым механизмом АИПС. Установление истинного соответствия

предполагает соотнесение содержания на смысловом уровне: пользова-

тель практически реконструирует возможное содержание по перечисле-

нию основных понятий и далее полученный образ соотносит с реальной

потребностью. При этом адекватность образа действительному содер-

жанию документа определяется не только качеством процесса свертки

информации, но и уровнем знания субъектом средств отражения – кон-

цептуальной схемы предметной области и возможностей информацион-

но-поискового языка.

Дадим определения, связанные с данным понятием.

Информационно-поисковый язык – искусственный язык, пред-

назначенный для выражения содержания документов и информацион-

ных запросов или описания фактов с целью обеспечения поиска в авто-

матизированных информационных системах (АИС), в т.ч. – автоматизи-

рованных информационно-библиотечных системах (АИБС) [91]. В до-

полняющей первое определение, дефиниции говорится, что информа-

ционно-поисковые языки – искусственные языки, предназначенные для

формирования специальных характеристик (индексов, дескрипторов, те-

заурусов, ключевых слов и др.) объектов (документов, фактов и т.п.),

хранящихся в БД с целью обеспечения поиска с получением результата,

релевантного запросу пользователя. Они образуются на основе специ-

альных правил, в том числе грамматики, систем обозначения (алфавит) и

др. В настоящее время естественный язык ещё не может быть полноцен-

но использован с этой целью из-за сложности его представления в ма-

шинную форму, а также многозначности, неформализуемости некото-

рых связей между словами и т.п.

Рассмотрим виды ИПЯ.

Ключевое слово (КС) – отдельное слово или словосочетание есте-

ственного языка, выделяемое из текста документа или запроса и несущее

существенную смысловую нагрузку с точки зрения информационного

245

поиска. КС отражает основное содержание документа при индексирова-

нии. Ключевые слова представляются в тезаурусе в унифицированной

грамматической форме, устанавливаемой в рамках системы стандартом

на информационно-поисковый тезаурус или методикой [90].

Кроме ключевых слов широко используются различные классифи-

кации, обычно представляемые в виде таблиц классификации.

Под классификацией в данном аспекте понимают совокупность

элементов, сгруппированных в классификационную систему, состоящую

из кода класса, его названия и методических указаний, раскрывающих

содержание деления, ссылок и т.п.

Классификационные системы отражаются в таблицах классифика-

ции, подразделяющиеся на универсальные и отраслевые.

Рубрикатор представляет иерархическую классификационную

таблицу, содержащую полный перечень включенных в систему классов

и предназначенную для систематизации информационных фондов, мас-

сивов и изданий, а также поиска в них.

Для обозначения в классификационной системе отдельных поня-

тий в ней используется индексация множества символов и специальные

правила их применения.

Термин индексирования – одна или несколько связанных лекси-

ческих единиц (ЛЕ), представленных в поисковом образе документа

(ПОД) и оформленных по правилам определенного ИПЯ. В классифика-

ции ИПЯ он выражен с помощью полного классификационного индекса,

в предметизационном – в виде совокупности предметных рубрик [98].

Предметизация – вид индексирования, при котором содержание

документа и (или) запроса выражено предметными рубриками в соот-

ветствии с правилами какого-либо предметизационного ИПЯ [97].

Тезаурус – своего рода «обращенный» толковый словарь. Если в

обычном толковом словаре по слову находится его значение, то в тезау-

русе по записанному определённым способом значению находят слово

или несколько слов, выражающих искомое значение.

Термин «тезаурус» впервые в XIII веке использовал Б. Латини в

труде «Книга о сокровище». Первые тезаурусы не были связаны с по-

требностями информационной деятельности. В библиотечно-

информационных системах разработка тезауруса реальна лишь для от-

дельных отраслей. Тезаурус в ИС можно воспринимать, как её семанти-

ческое наполнение. Универсальные библиотеки используют имеющиеся

иерархические классификации или предметные рубрики [90].

Дескриптор (от англ. «to describe» — описывать), словарная еди-

ница ИПЯ, выраженная словом, словосочетанием или кодом, включаю-

щая эквивалентные или близкие по смыслу ключевые слова, используе-

мая для координатного индексирования документов и (или) информаци-

онных запросов; лексическая единица информационно-поискового те-

зауруса (ИПТ), под которой понимается нормализованное слово или

словосочетание, выбранное из множества синонимических или близких

246

по значению ключевых слов.

Под дескриптором понимают термин, нотацию или другой ряд

символов, используемых для обозначения предмета какого-либо произ-

ведения [65]. Дескриптор как термин, предназначенный для однозначно-

го описания понятий, в 1950 году ввёл американский математик К.

Мэрс. Он же предложил составлять для контроля лексики специальные

дескрипторные словари.

Критериями выбора одного из терминов в качестве дескриптора

служат полнота выражения смысла, краткость, понятность и частота

встречаемости термина в текстах документов и запросов. Лексическая

единица ИПТ, входящая в класс эквивалентности данного дескриптора,

которую он заменяет при индексировании документов и запросов, назы-

вается аскриптором (недескриптор). При этом дескрипторный словарь

представляет алфавитный перечень дескрипторов и аскрипторов [82].

Информационно-поисковый тезаурус – разновидность тезауру-

са, словарь ЛЕ дескрипторного информационно-поискового языка или

нормативный словарь дескрипторов и ключевых слов с зафиксирован-

ными парадигматическими отношениями между этими единицами.

Предназначен для координатного индексирования документов и инфор-

мационных запросов. В упрощенном виде ИПТ – список терминов, их

синонимов и связей [

90].

Средства поиска, обеспечивающие нормализацию лексики ИПЯ

Грамматический строй естественных языков нередко расходится с

логической структурой мышления, и поэтому при поиске информации

необходимо полностью или частично исключить влияние аффиксов и

окончаний слов естественных языков.

Для этого можно предусмотреть наращивание документов всеми

потенциально возможными словоформами, которые можно составлять,

например, на базе основ слов, первоначально содержащихся в докумен-

тах. Наличие в очередной паре «документ–запрос» словоформ, совпа-

дающих с точностью до общности их корней, в результате такого нара-

щивания привело бы к появлению в документе словоформы, полностью

совпадающей со словоформой, имеющейся в запросе. Таким образом,

такое наращивание снимало бы различие употреблений словоформ в до-

кументах и запросах. Заметим, что наращивание словоформ может осу-

ществляться как на уровне документов, так и на уровне запросов.

Другой технологический вариант, позволяющий снимать различие

употреблений словоформ, состоит в использовании кодирования слов.

Сущность метода автоматического кодирования слов с помощью

наперёд заданных словарей аффиксов и окончаний заключается в авто-

матической проверке на наличие в словах естественных языков элемен-

тов, вошедших в наперёд заданные (составленные экспертами-

лингвистами) словари аффиксов и окончаний, и отсечении их, если они

247

имеются.

От качества составления словарей аффиксов и окончаний в значи-

тельной мере зависит качество автоматического кодирования слов есте-

ственных языков, а, следовательно, и функциональная эффективность

ИПС в целом. Ошибки могут быть следствием такого алгоритма, когда

после включения очередной морфемы в словарь, она отсекается из всех

слов естественно-языкового употребления в БД, независимо от того, яв-

ляется ли для конкретно рассматриваемого слова морфемой или частью

корня. Для каждого естественного языка статистические характеристики

вычисляются путём автоматической обработки достаточно представи-

тельных фрагментов текстов данного языка.

Оценка и обработка результатов поиска

Учитывая, что идеальный результат поиска должен удовлетворять

требованиям единственности, полноты и непротиворечивости, получаем,

что различные виды поиска определяют различные требования к функ-

циональным возможностям системы в части оценивания результата. Од-

нако, только для случая предметного поиска доказательство полноты яв-

ляется тривиальным: непустой результат поиска подтверждает факт су-

ществования (или отсутствия) объекта, обладающего искомыми свойст-

вами. Результат тематического поиска в этом смысле множественен и,

соответственно, требует последующей систематизации – ещё одного

процедурного шага для упорядочения полученного множества объектов

по значениям не определенного явно основания. В свою очередь, про-

блемный поиск предполагает уже двухуровневую систематизацию.

Соответственно, такая дополнительная, и отдельная во времени,

обработка требует наличия в системе средств идентификации получае-

мых объектов (как отдельных элементов, так и их композиций, возмож-

но, связываемых с методами их получения), а также средств их выбо-

рочного использования.

Интерфейсные средства обработки результата и развития поис-

ка используют два типа операционных объектов – отдельные документы

или коллекции документов. Особенностью предложенной схемы являет-

ся функциональное подобие интерфейсных блоков и то, что, помимо

функций обработки материала документов, система предоставляет сред-

ства развития процесса поиска либо путём модификации выражения,

либо путем реформулирования запроса по обратной связи по релевант-

ности.

Вопросы для самопроверки:

1. Базы и банки данных (определения и характеристика).

2. СУБД (определение, типы и возможности).

3. Классификация СУБД.

4. Требования, предъявляемые к БД.

248

5. Типология БД.

6. Типология баз данных с точки зрения информационных про-

цессов.

7. Программные средства баз данных (ИПС, АИС и др.).

8. Компоненты БД.

9. Организация данных на машинных носителях.

10. Обобщенная схема информационного поиска.

11. Средства и интерфейсные объекты в поисковых технологиях.

12. Информационно-поисковый язык.

13. Оценка и обработка результатов поиска.

249

Раздел 5. Средства телекоммуникаций

Тема 14. Технические средства передачи информации. Связь

Виды связи общего назначения

К видам связи традиционного назначения относятся: почтовая (бу-

квенно-цифровая и графическая информация), телефонная (передача ре-

чи), телеграфная (буквенно-цифровые сообщения), факсимильная (бук-

венно-цифровая и графическая информация), радио, радиорелейная и

спутниковая связь (буквенно-цифровая и графическая информация). Они

делятся на: проводные (телефонные, телеграфные и т.п.) и беспроводные,

в которых, в свою очередь выделяют: радио (всенаправленные, узкона-

правленные, сотовые и иные радио системы), радиорелейные и космиче-

ские (спутниковые) устройства, системы и комплексы. При этом, напри-

мер, передачу речи можно организовать по аналоговым и цифровым,

проводным и беспроводным, телефонным и любым радио каналам связи.

Средства связи предоставляют возможность организации назван-

ных видов связи с использованием телефонных, факсимильных, теле-

графных аппаратов, компьютеров с модемами и др. Пользователь обыч-

но не знает, какие виды связи были задействованы при организации се-

анса связи, в котором он участвовал. В ряде случаев системы и средства

связи называют средствами коммуникации, поскольку термин «комму-

никация» (англ. «communication») в переводе означает средство связи.

Существуют различные классификации средств связи. Так по од-

ной из них к средствам коммуникации относят средства и системы:

● стационарной и мобильной телефонной связи;

● телеграфной связи;

● факсимильной передачи информации и модемной связи;

● кабельной и радиосвязи, включая оптико-волоконную и спутни-

ковую связь.

Следует отметить, что эта классификация не даёт чёткого пред-

ставления о рассматриваемой области, так как объединяет в одной пози-

ции и средства, и системы связи, а также проводную (кабельную) и бес-

проводную (радио и спутниковую) связь.

Будем придерживаться определения, данного в теме 3: средства

связи – технические системы передачи данных (СПД) и информации на

расстояние, образующие канал связи и оконечные устройства приё-

ма/передачи.

Современные средства связи предоставляют пользователям десят-

ки и сотни различных сервисных услуг, например: выяснение времени и

погоды в любой точке планеты, уточнение расписания движения раз-

личных видов транспорта и местоположения субъекта или объекта

(средства навигации), возможность автоматического заказа билетов и

250

номеров в гостиницах, автоматическое переключение вызова на другой

телефонный аппарат или пейджер, циркулярную рассылку информации

нескольким абонентам одновременно, ведение разговора сразу с не-

сколькими абонентами, вызов абонентов с помощью долговременной

памяти их номеров, автоматическое определение и запоминание номера

вызывающего абонента, использование автоответчика с записью переда-

ваемых сообщений, дистанционное управление телефоном, подключе-

ние к компьютеру и другие сервисы.

По видам передаваемых сигналов средства связи делятся на анало-

говые и цифровые или дискретные.

К аналоговым относятся непрерывные сигналы, как правило,

плавно меняющие амплитуду своих значений в течение сеанса передачи

информации, например, речь в телефонном канале.

При передаче любых сведений по сетям передачи данных их при-

ходится преобразовывать в цифровую форму. Например, по телеграфу

передаются закодированные последовательности импульсов. То же про-

исходит при передаче машиночитаемой информации с ЭВМ по любым

телекоммуникациям. Такие сигналы называются дискретными (цифро-

выми). Для передачи машиночитаемой информации в качестве кода ис-

пользуют 8-ми разрядный двоичный код.

Каналы связи

Для передачи данных образуют среду их распространения – сово-

купность линий или каналов передачи данных и приёмо-передающего

оборудования. Линии или каналы связи являются общим, связующим

звеном любой системы передачи данных и с точки зрения организации

связи делятся на лини и каналы. Линия связи – это физические провода

или кабели, соединяющие пункты (узлы) связи между собой, а абонен-

тов – с ближайшими узлами.

Каналы связи образуется различным образом.

Они могут быть как физическими проводными каналами – обра-

зуемыми кабелями связи, так и волновыми каналами – формируемыми

для организации в какой-либо среде (например, эфире) различных видов

радиосвязи с помощью антенн и выделенной полосы частот. При этом

электрические и оптические каналы связи (образуемые соответствую-

щими сигналами) подразделяются на: проводные и беспроводные (радио-

, инфракрасные и другие) каналы. Таким образом, оптический, как и

электрический сигнал может распространяться, по проводам, в эфире и

других средах.

В телефонной сети после набора номера, канал образуется на вре-

мя соединения, например, двух абонентов и проведения между ними се-

анса голосовой связи. В проводных системах передачи данных канал

формируется путём применения оборудования уплотнения, позволяю-

щего одновременно продолжительно или кратковременно передавать по