Морзе Н.В., Ухань П.С., Вознюк А.Н., Козачук А.В. Пособие для дистанционного обучения
Подождите немного. Документ загружается.
I*EARN-99
101
Рис. 35 Окно для настройки цвета.
Чтобы отображать текст различными шрифтами, в меню Tools (Сервис) выберите коман-
ду Internet Options (Свойства обозревателя), а затем в появившемся диалоговом окне перейди-
те во вкладку General (Общие). Щелкните на кнопке Fonts (Шрифты). В списках Web page font
(Шрифт Web-страницы) и Plain text font (Шрифт текста) выберите нужные Рис. 36).
Рис. 36 Окно для настройки шрифтов Web-страниц.
Для изменения размера отображаемого текстового материала в меню View (Вид) выбери-
те команду Text Size (Размер шрифта) и установите нужный размер (Рис. 37).
Рис. 37 Установка размера шрифта с помощью меню Вид.
Чтобы определять шрифт и установки цветов для постоянного использования, в меню
Tools (Сервис) выберите команду Internet Options (Свойства обозревателя), а затем в появив-
I*EARN-99
102
шемся диалоговом окне перейдите во вкладку General (Общие) и щелкните на кнопке
Accessibility (Оформление). В появившемся окне (Рис. 38
)
измените установки нужным обра-
зом, игнорируя цвета, стили и размеры шрифтов, определенных на Web-странице, а также
применяя собственный стиль, если таковой имеется.
Рис. 38 Специальные возможности.
Просмотр страниц написанных на различных языках.
Некоторые Web-узлы предлагают информацию на нескольких языках. Чтобы просматри-
вать их на предпочитаемом языке, можно добавлять языки к вашему списку языков в Internet
Explorer. Для этого в меню Tools (Сервис) выберите команду Internet Options (Свойства обозре-
вателя), а затем в появившемся диало-
говом окне перейдите во вкладку General
(Общие) и щелкните на кнопке Languages
(Языки), чтобы открыть окно (
Ошибка!
Источник ссылки не найден.
), в кото-
ром можно выбрать и добавить нужный
язык. Щелкните на кнопке Add (Добавить)
и в новом окне (Рис. 37) выберите язык.
При использовании нескольких
языков можете упорядочивать их в по-
рядке приоритета. Если Web-узел пред-
лагает много языков, то это позволит
отобразить содержимое на языке с са-
мым высоким приоритетом. Добавление
языков не гарантирует, что ваш компью-
тер имеет шрифт, который может ото-
бражать страницы на этих языках. Чтобы
получить подсказку о том, что необходи-
мо добавление шрифтов, во вкладке
Advanced (Дополнительно) установите
опцию Enable Install On Demand (Вклю-
чить установку по запросу).
Рис. 39 Выбор языков Web-страниц.
I*EARN-99
103
Поиск информации в Интернет
Проблемы поиска
Контроль полноты охвата ресурсов
Полномасштабный сбор информации в Интернет по какому-либо вопросу во многих
случаях выводит поиск за пределы широко освоенного Web-пространства, к telnet-доступным
базам данных, региональным телеконференциям и другим хранилищам информации. Знание
всех
основных существующих на сегодняшний день типов ресурсов Сети, понимание
технической и тематической специфики их информационного наполнения и особенностей
доступа становится необходимым условием успешного планирования и проведения поисковых
работ.
Контроль достоверности информации
Контроль достоверности информации полученной из Сети в результате поиска,
разумеется, может производиться разными средствами. Кратко остановимся здесь на
возможностях, которые предоставляет сама Сеть. Так, традиционными способами проверки
являются локализация источников информации, альтернативных данному; сверка
фактического материала, установление частоты его использования другими источниками;
выяснение статуса документа и рейтинга узла, на котором он находится средствами поисковых
систем; получение информации о компетентности и статусе автора материала с помощью
специальных поисковых сервисов; анализ отдельных элементов организации узла с целью
оценки квалификации специалистов, его поддерживающих и другие.
Скорость проведения поиска в Сети
Если не принимать во внимание технические характеристики подключения
пользователя, скорость зависит в основном от двух факторов. Это грамотное планирование
поисковой процедуры и навыки работы с ресурсом выбранного типа. Под составлением плана
поисковых работ понимается выбор поисковых сервисов и инструментов, отвечающих
специфике задачи и, что крайне важно, последовательности их применения в зависимости от
ожидаемой результативности. После получения доступа к соответствующему ресурсу на
передний край выдвигается умение быстро разобраться в его структуре и способах навигации.
Моторика выполнения действий, умелое совмещение поисковых средств и возможностей
обработки информации локальной клиентской программы и сервера для поиска являются
необходимыми навыками.
Основные объекты и механизмы поиска
Так или иначе, сегодня информация в Интернет оказывается доступной из источников
разного типа. Планировать поиск без полного представления об их спектре и особенностях
функционирования невозможно. Перечень основных типов ресурсов, который можно
использовать как карту при планировании поисковой процедуры, приведен ниже.
Основные информационные и коммуникационные ресурсы Интернета
•
электронная почта и почтовые роботы;
•
глобальная система телеконференций Usenet, региональные и специализированные
телеконференции;
•
списки рассылки;
•
он-лайновые средства коммуникации пользователей;
•
системы поиска людей и организаций;
•
базы данных Hytelnet;
•
система файловых архивов FTP, системы поиска в FTP-архивах глобального и
регионального охвата;
•
базы данных Gopher и поисковая система Veronica;
•
гипертекстовая информационная система World Wide Web (WWW);
I*EARN-99
104
•
каталоги ресурсов - глобальные, локальные, специализированные (в среде WWW);
•
поисковые машины, или автоматические индексы - глобальные, локальные,
специализированные (в среде WWW);
•
баннерные системы (в среде WWW);
•
активные информационные каналы (в среде WWW);
Информация, опубликованная на веб-серверах.
Гипертекстовая информационная система World Wide Web (WWW) и ее технологии на
сегодняшний день наиболее значительны в Сети и продолжают свой подъем. Так, с конца 1997
г. по начало 1999 г. количество информации в WWW увеличилось более чем в два раза — с
320 до 800 миллионов страниц. Основными механизмами поиска являются каталоги веб-
страниц и поисковые машины, предоставляющие в распоряжение пользователя базу данных
по ресурсам. Облегчают поиск специализированные метапоисковые машины, использующие
базы данных нескольких серверов, а также специализированные программы — поисковые
клиенты.
Каталоги ресурсов
Каталоги ресурсов — глобальные, локальные, специализированные; представляют
собой размещаемые в Сети базы данных с адресами ресурсов и самым разным масштабом
накопленной информации и охватом тематики. Обычно они имеют иерархическую структуру,
перемещаясь по которой, можно локализовать нужный объект. Скорость накопления
информации такими системами оказывается сравнительно низкой, поскольку в классификации
ресурсов предполагается непосредственное участие человека. Для поиска получение
информации о ресурсе из известного каталога всегда является некоторой гарантией
достоверности. При решении более или менее стандартной поисковой задачи именно каталог
является стартовой площадкой для начала поиска.
Основными характеристиками каталогов являются следующие.
Направленность тематики и широта охвата ресурсов — общие, специализированные,
глобальные, региональные.
Объем базы данных (общее количество ссылок в каталоге).
Структура рубрик, наличие нескольких индексов.
Возможность поиска по каталогу.
Механизм хранения информации каталогом — если каталог создан в виде веб-страниц,
как, например, Yahoo (www.yahoo.com), то первоначальная структура рубрик каталога не
подлежит изменению и возможности поиска крайне ограничены. Если же каталог выполнен в
виде интерфейса к базе данных, например русский АУ! (www.au.ru), или львовский сайт
Ukrainet Yellow Pages (www.ukrainet.lviv.ua/yellow/pages.htm)? он предоставляет более гибкие
возможности поиска несколько индексов.
Поисковые машины
Поисковые машины, или автоматические индексы — глобальные, локальные,
специализированные представляют собой мощные информационно-поисковые системы,
размещаемые на серверах свободного доступа. Их специальные программы-роботы, или
пауки, в автоматическом режиме непрерывно сканируют информацию Сети на основе
заданных алгоритмов, проводя индексацию документов. В последующем на основе созданных
индексных баз данных поисковые машины предоставляют пользователю доступ к
распределенной на узлах Сети информации. Это реализуется через выполнение поисковых
запросов в рамках соответствующего интерфейса. Последние исследования возможностей
поисковых машин, даже самых мощных из них,
таких как AltaVista, или HotBot, показывают, что
реальная полнота охвата ресурсов Всемирной
Паутины отдельной такой системой не превышает
15%.
Рассмотрим схему работы такой системы.
Client (клиент) — это программа просмотра,
браузер, например Internet Explorer. Или же
специализированный поисковый клиент, например
программа Copernic.
User interface (пользовательский интерфейс) — это не просто программа просмотра, в
случае поисковой системы под этим словосочетанием понимают также способ общения
I*EARN-99
105
пользователя с поисковым аппаратом: системой формирования запросов и просмотров
результатов поиска.
Search engine (поисковая машина) — служит для трансляции запроса пользователя, в
формальный запрос системы, поиска ссылок на информационные ресурсы Сети и выдачи
результатов этого поиска пользователю.
Index database (индекс базы данных) - индекс, который является основным массивом
данных поисковой системы и служит для поиска адреса информационного ресурса.
Архитектура индекса устроена таким образом, чтобы поиск происходил максимально быстро и
при этом можно было бы оценить ценность каждого из найденных информационных ресурсов
сети.
Queries (запросы пользователя) - сохраняются в его (пользователя) личной базе
данных. На отладку каждого запроса уходит достаточно много времени, и поэтому чрезвычайно
важно запоминать запросы, на которые система дает хорошие ответы. При работе с поисковой
машиной с помощью браузера, запросы сохраняються в кеше программы, при работе с
поисковым клиентом имеется возможность сохранять результаты запросов.
Index robot (робот-индексировщик) - служит для сканирования Internet и поддержания
базы данных индекса в актуальном состоянии.
Метапоисковые машины
Общее количество страниц в сети сейчас около 800 миллионов. В то же время степень
охвата этих страниц самыми мощными на текущий момент поисковыми серверами всего лишь
около16%.
В ходе исследования на основе результатов обработки 1050 запросов были определены
возможности 11 наиболее популярных поисковых систем. Самой мощной оказалась система
Northern Light, охватывающая, как уже отмечалось выше, 16% всех Web-страниц. Второе и
третье места с небольшим отставанием от лидера поделили AltaVista и Snap — по 15,5%.
Четвертое место с результатом 11,3% заняла система HotBot. Степень же охвата поисковых
средств наиболее популярных Web-порталов — Yahoo!, Excite и Lycos — составила
соответственно 7,4, 5,6 и 2,5%.
Суммарное покрытие всех 11 поисковых систем оказалось равным 42%, или 335
миллионам страниц.
Поэтому степень вероятности найти необходимую информацию возрастает при
использовании нескольких поисковых систем. Метапоисковые машины предназначены для
перенаправления запроса пользователя нескольким поисковым серверам. Как правило,
полученные в результате запросов ссылки упорядочиваются, удаляются дублирующие,
имеется возможность различных вариантов сортировки.
Информация о людях и организациях
Веб-пространство
Адрес электронной почты отдельного лица или организации традиционно используются
для идентификации владельца. В коммуникационных ресурсах Сети - он-лайновых средствах
коммуникации пользователей и системе телеконференций нередко он оказывается
необходимым атрибутом каждого участника. Специальная URL-схема
mailto
позволяет
вставлять в Web-страницу гиперссылку на е-mail, автоматически открывающую почтового
клиента. В этом виде она широко применяется в Паутине. Сами адреса при этом свободно
индексируются поисковыми системами и доступны для поиска через поисковые машины
общего назначения. AltaVista, например, показывает, что адреса электронной почты
встречаются почти на 100 миллионах Web-страниц из 150 миллионов заиндексированных ей
документов.
Адреса е-mail активно накапливаются и в специальных системах поиска людей и
организаций. Серьезное неудобство для поиска по e-mail составляет то, что при получении
адреса допускается регистрации пользователя под псевдонимом. Эта практика особенно
широко распространена на серверах, предоствляющих бесплатные почтовые ящики.
Он-лайновые средства коммуникации пользователей
Сhat, ICQ и другие предполагают возможность обмена информацией между двумя или
большим количеством пользователей Сети в режиме реального времени через посредство
специального чат-сервера . Частью такого обмена может становиться текстовый диалог,
передача графики прямо в процессе ее создания, голосовая и видео связь, обмен файлами.
Долгое время ресурсы этого типа крайне редко использовались в решении поиковых задач,
однако ситуацию изменило появление в 1996 году нового сервиса этого типа, а именно службы
I*EARN-99
106
ICQ (http://www.icq.com). В отличие от существовавших ранее чатов, где регистрация
участников, как правило, носила анонимный характер и действовала лишь на протяжении
сеанса связи, разработчики ICQ предложили каждому пользователю регистрационный номер-
идентификатор, который сохранялся бы за ним постоянно. Это решение имело грандиозные
последствия в области компьютерного общения людей. Уникальный ICQ-номер грозит
появиться на визитных карточках рядом с телефоном, адресом электронной почты и домашней
страницей. При поиске людей и организаций можно с успехом использовать поисковую службу
ICQ, которая становится доступной сразу после установки ICQ-клиента на компьютер.
Системы поиска людей и организаций
В современной Сети характеризуются двумя важными моментами: большинство этих
ресурсов уже перенесено на Web-сервера и все более широкое присутствие получает в них
информация о людях и организациях, которые не имеют прямого или вообще никакого
отношения к Интернету. С последним утверждением связаны известные факты появления в
Сети телефонных, адресных и других баз данных как отдельных организаций, так и целых
регионов. Тем не менее такой чисто сетевой идентификатор пользователя как адрес e-mail
остается доминирующим поисковым атрибутом для многих сервисов этого типа. Источником
пополнения их баз данных становятся материалы телеконференций, Web-сервера, а также
самостоятельная регистрация пользователей. К ним добавляются системы,
специализирующиеся на поиске, например, по номеру ICQ (см. выше) или домашних страниц
пользователей (служба Ahoy!, URL http://www.cs.washington.edu/research/ahoy/). Наряду c
переориентированием сервисов под WWW в Сети продолжает работать одна из самых старых
поисковых служб подобного типа- Whois, доступная по протоколу telnet с сервера
whois.internic.net после входа по login: whois.
Часто возникают попытки выяснить рейтинг поисковых сервисов этого назначения. Так,
по результатам исследований журнала PC Magazin (http://www.zdnet.com/pcmag) наибольшей
популярностью в Сети среди пользователей Европы и Северной Америки пользуется служба
поиска адресов электронной почты Four11 (http://www.four11.com), расположенная в портале
Yahoo. Однако практика показывает, что начало поиска именно с нее совершенно не
гарантирует успеха. Все эти службы имеют один серьезный недостаток - они не представляют
собой единую кем-либо администрируемую систему, а являются лишь хаотически с точки
зрения стороннего наблюдателя пополняемым набором информационных узлов. Следствием
этого является то, что грамотно спланировать поисковую процедуру и расставить приоритеты в
поиске отдельного лица становится крайне сложно. В некоторых случаях намного эффективней
прибегнуть к поиску человека по его следам в Сети - публикациям, месту службы и т.п. с
использованием поисковых систем общего назначения.
Системы реальных имен
В основе систем реальных имен лежит идея построения между URL ресурсов и
пользователями еще одного уровня адресов, на которые не распространяются ограничения,
присущие URL.
Эта идея была реализована в созданной весной этого года Национальной службе имен
(НСИ). Служба разработана компанией «МедиаЛингва», а поддерживает ее компания "100%".
На сервере НСИ, который находится по адресу www.names.ru хранится база адресов,
позволяющая искать Web-страницы по их "русским именам" - названиям фирм и организаций,
именам владельцев, характерным ключевым словам, рекламным девизам. Скажем, по запросу
"Открытые системы" будет найдена страница http://www.osp.ru/, по запросу "МПС" -
http://www.css-mps.ru/, по запросам "Яблоко" и "Явлинский" - http://www.yabloko.ru/, а по запросу
"машинный перевод" - http://www.ets.ru/.
На том же сервере (и на нескольких других) имеется бесплатный драйвер, установив
который можно вводить запросы к базе русских имен прямо в поле адреса; получив запрос,
драйвер связывается с сервером НСИ, находит в базе нужный URL и производит
автоматическое переключение на соответствующую страницу. Таким образом, с точки зрения
пользователя вводимые им в качестве адресов русские слова и словосочетания будут
полностью эквивалентны стандартным URL.
База имен
База имен состоит из двух частей: имена фирм и организаций и имена частных лиц.
Первые должны быть уникальными, т. е. коль скоро издательство ЭТС зарегистрировало для
своей страницы имя "машинный перевод", то фирме ПРОМТ это сделать уже не удастся (зато
на страницу, посвященную ПРОМТ, - правда, не на ее собственную, а на принадлежащую
I*EARN-99
107
компании "Агама", - russia.agama.com/promt.htm - отсылает запрос "программы перевода");
несколько адресов могут оказаться результатом поиска, но лишь в случае, когда запрос не
имеет точного соответствия в базе. В обратную сторону, как мы видели, таких строгих
ограничений нет: одному URL могут соответствовать и несколько имен; регистрационная
форма предусматривает, помимо основного имени, до четырех синонимов. С именами частных
лиц все наоборот: требование уникальности, естественно, отсутствует (человек не должен
страдать из-за того, что у него есть однофамильцы), а синонимы - прозвища, псевдонимы - не
допускаются. Имена обоих типов можно снабдить краткой аннотацией, с которой НСИ будет
работать как обычная поисковая система.
Регистрация в базе производится только по заявкам, причем сотрудники НСИ
предварительно проверяют соответствие имен и аннотаций страниц их реальному
содержанию. Если частное лицо регистрирует только свой адрес электронной почты (что
допускается), то проверить правильность сообщенных сведений, очевидно, невозможно. По
вновь зарегистрированному адресу посылается уведомление - оно гарантирует, что владелец
адреса действительно хотел зарегистрироваться, - а вот гипотетическую ситуацию, в которой
кто-то присваивает себе имя другого человека, чтобы перехватить часть его переписки,
предотвратить нельзя.
Телеконференции
Глобальная система телеконференций Usenet, региональные и специализированные
телеконференции. Система построена по принципу электронных досок объявлений, когда
пользователь может разместить свою информацию в одной из тематических групп новостей.
Затем эта информация передается пользователям, которые подписаны на данную группу.
Полное число групп новостей Usenet превышает 20 тысяч и сведения о них можно найти,
например, на Yahoo. Все они одновременно не поддерживаются ни одним сервером, так что
труднее бывает отыскать не название соответствующей группы, а сервер телеконференций, с
которого ее можно загрузить. Usenet - ключевое слово именно для глобальной системы
телеконференций. Региональные и специализированные системы также имеют
распространение. Ресурс наиболее значим для быстрого накопления информации по узкому
вопросу, а при поиске - чаще для получения частной, неофициальной информации.
Файловые архивы
Система файловых архивов FTP, системы поиска в FTP-архивах глобального и
регионального охвата. Ресурсы этого типа не отступили так безоговорочно под натиском Web-
технологий, как большинство остальных. Одна из причин в огромном количестве информации,
накопленной в ftp-архивах за десятилетия эксплуатации компьютерных систем, которая по-
прежнему ценна для специалистов. Социального заказа на ее перенос в Web-пространство в
полном объеме не существует. Другая причина кроется в простоте доступа, навигации и
передачи файлов по ftp. Так или иначе сегодня ftp-ресурсы востребованы и даже
характеризуются развитием не только своей единственной глобальной поисковой системы
Archie (адрес одного из стабильно доступных Web-шлюзов к ней - http://ftpsearch.ntnu.no), но и
региональных систем, в частности российской - http://ftpsearch.city.ru , охватывающей более
2000 серверов.
Ftp-архивы - это в первую очередь источники программного обеспечения, успешно
конкурирующие с Web-узлами, которые специализируются на продаже и представлении
коллекций программ. В отличие от Web-узлов на них гораздо чаще можно столкнуться с
нарушением авторских прав в виде пиратских копий программ и отдельных материалов,
продаваемых на других узлах за деньги. Как следствие теневых сторон ftp-сервиса- опасность
заражения вирусом из непроверенного источника. Поиски какой же информации стоит начинать
с поисковой системы ftp? Универсальный ответ прост: поскольку ключевым словом при
оформлении запроса является текст, входящий в название файла или каталога на ftp-сервере,
то наибольшего успеха можно добиться в поиске информации, которая, будучи оформлена в
виде файла, либо уже имеет определенное кем-либо имя, либо существует реальная
возможность его угадать.
I*EARN-99
108
Мезанизмы работы поисковых машин
Автоматический анализ текстов
Все созданные человеком тексты построены по единым правилам! Никому не удается
обойти их. Какой бы язык ни использовался, кто бы ни писал — классик или графоман, —
внутренняя структура текста останется неизменной. Она описывается законами Зипфа (G.K.
Zipf).
Первый закон Зипфа "ранг — частота"
Выберем любое слово и посчитаем, сколько раз оно встречается в тексте. Эта величина
называется частота вхождения слова. Измерим частоту каждого слова текста. Некоторые
слова будут иметь одинаковую частоту, то есть входить в текст равное количество раз.
Сгруппируем их, взяв только одно значение из каждой группы. Расположим частоты по мере их
убывания и пронумеруем. Порядковый номер частоты называется ранг частоты. Так, наиболее
часто встречающиеся слова будут иметь ранг 1, следующие за ними — 2 и т.д., на которое пал
выбор. Вероятность вероятность встретить слово в тексте будет равна отношению частоты
вхождения этого слова к общему числу слов в тексте.
Вероятность = Частота вхождения слова / Число слов
Зипф обнаружил интересную закономерность. Оказывается, если умножить вероятность
обнаружения слова в тексте на ранг частоты, то получившаяся величина (С) приблизительно
постоянна!
С = (Частота вхождения слова х Ранг частоты) / Число слов
Если мы немного преобразуем формулу, то увидим, что это функция типа y=k/x и ее
график — равносторонняя гипербола. Следовательно, по первому закону Зипфа, если самое
распространенное слово встречается в тексте, например, 100 раз, то следующее по частоте
слово вряд ли встретится 99 раз. Частота вхождения второго по популярности слова, с высокой
долей вероятности, окажется на уровне 50.
Значение константы в разных языках различно, но внутри одной языковой группы
остается неизменно, какой бы текст мы ни взяли. Так, например, для английских текстов
константа Зипфа равна приблизительно 0,1. Для русского языка коэффициент Зипфа равен
0,06-0,07.
Второй закон Зипфа "количество — частота"
Рассматривая первый закон, мы отмахнулись от факта, что разные слова входят в текст
с одинаковой частотой. Зипф установил, что частота и количество слов, входящих в текст с
этой частотой, тоже связаны между собой. Если
построить график, отложив по одной оси (оси Х)
частоту вхождения слова, а по другой (оси Y) —
количество слов в данной частоте, то
получившаяся кривая будет сохранять свои
параметры для всех без исключения созданных
человеком текстов. Как и в предыдущем случае,
это утверждение верно в пределах одного языка.
Однако и межъязыковые различия невелики. На
каком бы языке текст ни был написан, форма
кривой Зипфа останется неизменной. Могут
немного отличаться лишь коэффициенты,
отвечающие за наклон кривой (в
логарифмическом масштабе, за исключением
нескольких начальных точек, график — прямая линия).
Законы Зипфа универсальны. В принципе, они применимы не только к текстам. В
аналогичную форму выливается, например, зависимость количества городов от числа
проживающих в них жителей. Характеристики популярности узлов в сети Интернет — тоже
отвечают законам Зипфа. Не исключено, что в законах отражается "человеческое"
происхождение объекта. Так, например, ученые давно бьются над расшифровкой
манускриптов Войнича. Никто не знает, на каком языке написаны тексты и тексты ли это
вообще. Однако исследование манускриптов на соответствие законам Зипфа доказало: это
созданные человеком тексты. Графики для манускриптов Войнича точно повторили графики
для текстов на известных языках.
I*EARN-99
109
Что дают нам законы Зипфа? Как с их помощью извлечь слова, отражающие смысл
текста? Воспользуемся первым законом Зипфа и построим график зависимости ранга от
частоты. Как уже упоминалось, его форма всегда одинакова.
Исследования показывают, что наиболее значимые слова лежат в средней части
диаграммы. Это и понятно. Слова, которые попадаются слишком часто, в основном
оказываются предлогами, местоимениями, в английском — артиклями и т.п. Редко
встречающиеся слова тоже, в большинстве случаев, не имеют решающего смыслового
значения.
От того, как будет выставлен диапазон значимых слов, зависит многое. Поставь широко
— нужные термины потонут в море вспомогательных слов; установи узкий диапазон —
потеряешь смысловые термины. Каждая поисковая система решает проблему по-своему,
руководствуясь общим объемом текста, специальными словарями и т.п. Проведем
эксперимент. Подвергнем абзац текста математическому анализу и попытаемся определить
список значимых слов.
В качестве примера возьмем один из предыдущих абзацев (абзац, начинающийся
словами "Законы Зипфа универсальны"). Посмотрим, какие слова попали в область значимых
слов, а какие нет.
слово частота ранг слово частота ранг слово частота ранг
зипфа 5 1
зависимость 1 5 соответствие 1 5
в 42
законах 1 5 так 1 5
на 33
законом 1 5 текста 1 5
не 33
знает 1 5 текстам 1 5
тексты 33
известных 1 5 текстов 1 5
войнича 24
извлечь 1 5 тоже 1 5
графики 24
интернет 1 5 только 1 5
для 24
исключено 1 5 точно 1 5
законам 24
исследование 1 5 уже 1 5
законы 24
их 1 5 узлов 1 5
и 24
к15 универсальны 1 5
как 24
каком 1 5 упоминалось 1 5
например 24
количества 1 5 ученые 1 5
от 24
ли 1 5 форма 1 5
что 24
манускриптов 1 5 форму 1 5
это 24
над 1 5 характеристики 1 5
аналогичную 1 5 нам 1 5 частоты 1 5
бьются 1 5 написаны 1 5 человеком 1 5
вообще 1 5 никто 1 5 человеческое 1 5
воспользуемся 1 5 них 1 5 числа 1 5
всегда 1 5 объекта 1 5 языках 1 5
выливается 1 5 одинакова 1 5 языке 1 5
городов 1 5 однако 1 5 популярности 1 5
график 1 5 они 1 5 построим 1 5
давно 1 5 отвечают 1 5 применимы 1 5
дают 1 5 отражается 1 5 принципе 1 5
доказало: 1 5 отражающие 1 5 проживающих 1 5
его 1 5 первым 1 5 происхождение 1 5
жителей 1 5 повторили 1 5 ранга 1 5
зависимости 1 5 помощью 1 5 смысл 1 5
расшифровкой 1 5 сети 1 5 созданные 1 5
с15 слова 1 5
В таблице приведены все слова абзаца и указана частота их вхождения. Как видите,
слова с частотой 2 и 3 наиболее точно отражают
смысл абзаца. Слово с наибольшей частотой
вхождения оказалось предлогом, а слова с
меньшей — общими словами.
На рисунке приведен график частота-ранг
этого абзаца. Выделим зону значимых слов.
Пусть это будут слова с рангом 2, 3 и частотой 3,
2 соответственно.
(Обратите
внимание, как
смещение или
расширение зоны
значимых слов
влияет на их
состав.)
Давайте
I*EARN-99
110
теперь проанализируем выделенную нами область значимых слов. Не все слова, которые
попали в нее, отражают смысл текста. Смысл абзаца очень точно выражают слова: зипфа,
манускриптов, войнича, законам. Запрос типа: + "закон* зипфа" + "манускрипт* войнича"
непременно найдет нам этот документ. Однако в область попали и слова: на, не, для,
например, это. Эти слова являются "шумом", помехой, которая затрудняет правильный выбор.
"Шум" можно уменьшить путем предварительного исключения из исследуемого текста
некоторых слов. Для этого создается словарь ненужных слов — стоп-слов (словарь называется
стоп-лист). Например, для английского текста стоп-словами станут термины: the, a, an, in, to, of,
and, that... и так далее. Для русского текста в стоп-лист могли бы быть включены все предлоги,
частицы, личные местоимения и т. п. Наверняка попали бы и слова из нашего "шума": на, не,
для, это. Есть и другие способы повысить точность оценки значимости терминов.
Весовые коэффициенты
До сих пор мы рассматривали отдельно взятый документ, не принимая во внимание, что
он входит в базу данных наряду с множеством других документов. Если представить всю базу
данных как единый документ, к ней можно будет применить те же законы, что и к единичному
документу. Посмотрите на список терминов в нашем примере. В одну компанию попали слова-
термины зипфа и не — они входят в документ равное количество раз. Исследовав остальные
документы базы данных на предмет вхождения в них этих терминов, мы, естественно,
обнаружим, что не встречается очень часто, в то время как зипфа — довольно редко.
Напрашивается очевидный вывод: слово зипфа должно стать термином, в то время как не
следует отбросить, как помеху. Чтобы избавиться от лишних слов и в тоже время поднять
рейтинг значимых слов, вводят инверсную частоту термина. Значение этого параметра тем
меньше, чем чаще слово встречается в документах базы данных. Вычисляют его по формуле:
Инверсная частота термина i = log (количество документов в базе данных / количество
документов с термином i).
Теперь каждому термину можно присвоить весовой коэффициент, отражающий его
значимость:
Вес термина i в документе j = частота термина i в документе j х инверсная частота
термина i.
Наверняка в нашем примере термин не получит нулевой или близкий к нулю вес,
поскольку практически во всех текстах попадается это слово. Термин же зипфа — напротив,
приобретет высокий вес.
Современные способы индексирования не ограничиваются анализом перечисленных
параметров текста. Поисковая машина может строить весовые коэффициенты с учетом
местоположения термина внутри документа, взаимного расположения терминов, частей речи,
морфологических особенностей и т.п.
Представление базы данных
Итак, мы разобрались, как машина "понимает" суть текста. Теперь необходимо
организовать всю коллекцию документов так, чтобы можно было легко отыскать в ней нужный
материал. База данных должна взаимодействовать с пользовательским запросом. Запросы
могут быть простыми, состоящими из одного слова, и сложными — из нескольких слов,
связанных логическими операторами. Простой запрос оправдывает свое название.
Пользователь вводит слово, машина ищет его в списке терминов и выдает все связанные с
термином ссылки. Структура такой базы данных проста. Взаимодействие со сложными
запросами требует более изощренной организации.
Матричное представление базы данных
Наиболее простой способ представить элементы базы данных в форме, удобной для
многовариантного поиска — создать матрицу документ-термин.