Кришнамурти Б., Рексфорд Дж. Web-протоколы. Теория и практика

Подождите немного. Документ загружается.

Часть

IL Компоненты программного обеспечения Web

в последнее время товаров являются примерами информации о состоянии. В дру-

гих случаях может сохраняться более подробная информация, например, все куп-

ленные пользователем товары или страницы, которые пользователь посетил в ходе

последнего сеанса. Реальное состояние не обязательно сохраняется в cookies пол-

ностью; cookies часто используются в качестве индекса для базы данных, в которой

Web-сервером сохраняется информация о состоянии пользователя. Сохранение

информации о пользователе дает возможность приложению совместно использо-

вать ее с другими приложениями, в том числе с другими серверами. Подобное со-

вместное использование информации без ведома пользователя ведет к угрозе кон-

фиденциальности пользователя.

2.6.2. Использование cookies в браузере

На рис. 2.4 представлен клиент, отправляющий запрос исходному серверу А

(этап 1). Исходный сервер в ответ включает заголовок (Set-Cookie) со значением

cookie (XYZ) (этап 2). Во все последующие запросы к исходному серверу А клиент

включает cookie (этап 3, передача Cookie с запросом в заголовке).

Заметим, что клиент не интерпретирует строку cookie (XYZ) при ее сохранении

и включении в последующие запросы. Сервер свободен в построении строки, пред-

назначенной клиенту, сформировавшему запрос, и в изменении механизма по-

строения строки cookie. На рисунке также показано, что обмен cookies фактически

осуществляется без ведома пользователя, если только пользователь не потребовал

уведомлять его каждый раз при передаче cookie. Такое уведомление мешает работе

пользователя, поэтому лишь малая часть пользователей, осведомленных об этой

возможности, применяет ее на практике.

Cookies первоначально хранятся в оперативной памяти компьютера пользова-

теля и записываются на долговременное устройство хранения (файлы на диске)

при выходе из браузера. В соответствии с указаниями по реализации в [KMOOJ

агенты пользователя могут хранить часто используемые cookies столько, сколько

нужно, однако существует ряд ограничений. Cookie может иметь размер до

4 Кбайтов. Браузеры дают возможность сохранять максимум 20 cookies на сервер

(или домен) и не более 300 cookies, чтобы избежать перегрузки.

Клиент

Запрос

Исходный

сервер А

Клиент

Ответ

Set-Cookie: XYZ

Исходный

сервер А

Клиент

Запрос

Cookie: XYZ

Исходный

сервер А

Рис. 2.4. Обмен cookies между клиентом и сервером

Глава 2. Web-клиенты . 61

2.6.3.

Контроль пользователя над cookies

Как и другие семантические свойства, управление которыми может осуществ-

ляться в браузере (см. раздел 2.4.2), cookies допускают значительную степень кон-

троля со стороны пользователя. Пользователи могут:

• Решать, принимать ли какие-либо cookies вообще. Подобное решение может

сделать для пользователя невозможным загрузку страниц с некоторых сайтов.

• Устанавливать ограничения на размер и количество принимаемых cookies.

Тем самым пользователь управляет пространством, которое будет выделено

для cookies на его компьютере, и уменьшает вероятность размещения произ-

вольно больших cookies.

• Решать, принимать ли cookies от всех сайтов, или только от определенных

сайтов/доменов: Это дает возможность пользователю принимать cookies

с нужных сайтов и отклонять cookies с других сайтов.

• Ограничить время жизни cookies только данным сеансом. Более детальное

управление на уровне сеанса дает возможность пользователю разрешать при-

ем cookies только для выполнения определенной задачи. В конце сеанса осу-

ществляется возврат к режиму по умолчанию, в соответствии с которым

cookies для последующих сеансов не принимаются.

• Потребовать, чтобы cookies исходили от того же сервера, с которого была

получена текущая страница. Тем самым гарантируется, что пользователь бу-

дет знать, откуда поступили cookies, а другим сайтам, с которыми браузер мог

автоматически связаться, будет запрещено посылать cookies. Например, когда

браузер загружает контейнерный документ, встроенные изображения могут

извлекаться автоматически. Встроенные изображения могут размещаться на

сервере, отличном от того, на котором находится контейнерный документ.

2.6.4. Проблемы нарушения конфиденциальности,

связанные с cookies

Пожалуй, ИИ одна другая технология не вызывала столько разногласий, сколько

cookies. Cookies широко используются, но в то же время считается, что они могут

привести к нарушению конфиденциальности пользователя. Прежде всего, если

применение cookies разрешено браузером по умолчанию, многие пользователи мо-

гут даже не подозревать, что они используют cookies. Cookies передаются откры-

тым текстом — другими словами, в незашифрованном виде. «Подслушивающая»

программа, способная перехватывать сетевой трафик, может узнать содержимое

cookies. Создается возможность модификации информации cookies по мере прохо-

ждения пакетов по сети. Таким образом, конфиденциальную информацию не сле-

дует передавать открытым текстом в составе cookies, если только между клиентом

и сервером не установлено защищенное коммуникационное взаимодействие. По-

мимо раскрытия личной информации пользователя, модификация значений coo-

kies может также привести к изменениям на стороне сервера. Исходный сервер мо-

жет использовать фрагменты cookies в качестве индексов для обращения к внут-

ренней базе данных, и изменение cookies может привести к непредумышленной

модификации базы данных без вмешательства со стороны пользователя. Многие

пользователи не знают, кто имеет доступ к информации, извлеченной из cookies, и

для чего используется эта информация. Например, информация из cookies может

совместно использоваться компаниями, а относящиеся к пользователю данные

(профили) могут быть незаконно использованы.

Часть

II. Компоненты программного обеспечения Web

Проблема еще больше усугубляется, если информация из cookies передается

серверу, отличному от исходного сервера, которому изначально был послан запрос.

Сбор информации третьей стороной может привести к сложно обнаруживаемым и

серьезным проблемам с пользовательской безопасностью. Например, агент пользо-

вателя и загружает страницу со встроенными изображениями с сервера S. Если

встроенные изображения находятся на другом сервере, скажем Е, браузер посылает

запросы на сервер Е, который может передать cookies. Теперь браузер будет иметь

cookies и от S, и от Е, хотя пользователь явно не обращался к серверу Е. Механизм

управления промежуточным состоянием HTTP требует, чтобы агент пользователя

прекратил прием и отправку cookies в случае не поддающейся проверке транзакции,

т.е.

пользователю не предоставляется возможное

1ь

просмотра URL, запрошенного

от его имени. Другими словами, запрос к URL делается без ведома пользователя, и

cookies принимаются с сайта, который напрямую пользователем не посещался.

Рассмотрим пример. Пусть компания DoubleClick занимается сбором информа-

ции. Предположим, пользователь отправляет запрос на поиск информации в попу-

лярную поисковую систему и получает десять гиперссылок на страницы с искомой

информацией. URL на эти страницы будут не в виде http://www.fool.com/

foo.html, http://www.foo2.com/bar.html и т.д. Вместо этого они могут иметь сле-

дующий вид:

http://ad.doubleclick.net/x26362d2/www.fool.com/foo.html

Теперь, когда пользователь щелкает мышью на одной из гиперссылок, запрос

посылается на сервер ad.doublecUck.net. Сервер ad.doublecUck.net записывает ин-

формацию из cookie пользователя. Информация из cookie связывает два компонен-

та: пользователя, отправившего запрос, и посещенный им сайт www.fool.com. Да-

лее запрос переадресовывается на сервер www.fool.com. Переадресация представ-

ляет собой вид HTTP-ответа, который инструктирует браузер отправить другой

запрос с иным URL. Переадресация запросов осуществляется прозрачно для боль-

шинства пользователей. Если различные серверы, которые пользуются услугами

Doubleclick, сотрудничают между собой и совместно используют информацию из

cookies одного и того же пользователя, они могут составить себе более подробный

«портрет» пользователя.

Пользователь не может управлять использованием собранной из cookies инфор-

мации. Было бы полезным при взаимодействии агента пользователя и сервера уве-

домлять пользователя и запрашивать у него разрешение перед использованием ин-

формации. Подобный подход называется моделью подтвержденного участия (opt-

in)] т.е. пользователи явным образом соглашаются предоставить информацию о

себе.

Альтернативой является схема уклонения от участия (opt-out), согласно кото-

рой поставщики содержания предоставляют пользователям возможность исключе-

ния их личных данных из собранной информации. Несмотря на то, что информа-

ция о пользователях не собирается автоматически, большинство пользователей не

уклоняются от участия в сборе информации о себе. Причинами здесь являются

инертность и отсутствие технической грамотности при слепом следовании инст-

рукциям.

Основная проблема с cookies состоит в том, что многие пользователи просто не

имеют понятия, какие действия выполняются от их имени. Даже если им известно

о наличии cookies, они могут не знать, что можно запретить работу с cookies или

использовать их избирательно. Ряд сайтов предоставляет подробную информацию

о проблемах, связанных с cookies, и возможном некорректном использовании

cookies. Читатели могут получить дополнительную информацию из других источ-

ников [Jun, Muf, Coo]. *

Глава

Web-клиенты

. 63

2.7.

Спайдеры

Спайдер (spider)

—

это программа, используемая для получения некоторых или

всех ресурсов с большого числа Web-сайтов. На первых порах спайдеры [Fic94] ис-

пользовались в качестве вспомогательного средства при обслуживании Web-сай-

тов.

В настоящее время спайдеры в основном используются для сбора информации

в интересах поисковых систем. До сих пор мы обсуждали роль Web-браузеров

—

наиболее распространенного типа Web-клиентов. Поиск информации в Web также

остается одним из популярных приложений, что и явилось причиной для создания

таких инструментов, как спайдеры. Далее мы подробно рассмотрим клиенты-спай-

деры и поговорим об их использовании в поисковых системах.

В главе 1 мы говорили о роли, которую играли предшествующие Web-системы

в оказании помощи пользователям при поиске интересующих их документов

в Internet. Эти системы имели каталоги, служившие в качестве предметных указа-

телей для наборов документов. Gopher и WAIS имели дополнительные возможно-

сти для индексирования документов, хотя при этом каждый сайт должен был реги-

стрировать свое содержимое на центральных серверах.

2.7.1.

Поиск в Web

Системы, связанные с Web, такие как Gopher, были также ориентированы на

поиск информации. Централизованный характер Gopher с его требованиями гло-

бальной регистрации создали условия для всеобъемлющего поиска, однако необхо-

димость обслуживания центрального реестра стало серьезной помехой в достиже-

нии успеха. С самого начала поиск активно использовался приложениями в Web.

При быстром увеличении числа Web-сайтов, пользователей и Web-страниц, отсут-

ствовала расширяемая технология, позволяющая отдельным пользователям или

владельцам сайтов ориентироваться в быстро растущем наборе доступных доку-

ментов. Децентрализованная суть Web сделала поиск сайтов и страниц необходи-

мостью. Если пользователь ищет вхождения строки в небольшом файле, можно

выполнить поиск по запросу. Выполнение же поиска в наборе из нескольких тысяч

файлов потребует времени. Если же следует просмотреть десятки тысяч файлов,

размещенных на тысячах компьютеров, задержка для пользователя будет еще боль-

ше.

Наконец, если сотни тысяч пользователей ищут текстовые строки в десятках

миллионов документов, размещенных на миллионах компьютеров, проблема стано-

вится значительно более сложной. Именно эту проблему призваны решать поиско-

вые системы.

Один из способов существенно ускорить поиск

—

это иметь упорядоченный на-

бор указателей вхождений искомых строк на их позиции в документах. Такой на-

бор указателей называется инвертированным индексом. Например, предметный

указатель в конце этой книги является подмножеством инвертированного индекса;

он

отсылает обратно к страницам, где встречаются указагпхые термины. Авторы мо-

гут принять решение не использовать все слова, которые встречаются в книге,

в предметном указателе. Предметный указатель при этом получился бы слишком

большим и не слишком полезным. Предметный указатель в книге указывает толь-

ко на основные вхождения проиндексированных слов, в то время как инвертиро-

ванный индекс обычно содержит все вхождения каждого из индексированных

терминов. Слова, которые исключены из процесса индексирования, называются

сорными

словами (stop words). В качестве примеров можно привести часто встре-

чающиеся слова, такие как «the» и «end».

Часть

П. Компоненты программного обеспечения Web

Первоначально, когда коллекция документов на удаленных сайтах была неболь-

шой, имело смысл создавать локальные инвертированные индексы на каждом из

удаленных сайтов. Однако с резким расширением Web создание локальных инвер-

тированных индексов стало нецелесообразным. Лучшим выходом стало иметь не-

сколько централизованных предметных указателей, которые могли бы использовать-

ся миллионами пользователей. Для осуществления масштабного поиска необходимы

два компонента: спайдеры и поисковые системы. В этом разделе мы познакомимся со

спайдерами и увидим, как дни используется совместно с поисковыми системами. .

2.7.2. Клиент-спайдер

Спайдер — это ключевой инструмент для поиска в Web. Как упоминалось ра-

нее,

спайдер представляет собой программу, которая получает некоторые или все

ресурсы с большого числа сайтов, главным образом с целью создания инвертиро-

ванных индексов, которые позднее будут использоваться поисковыми приложе-

ниями. Подобно другим Web-клиенгам, спайдер формирует HTTP-запросы для

доступа к ресурсам Web-сайта и осуществляет синтаксический анализ ответов.

Главными различиями между снайдером и браузером являются гораздо большее

число сайтов, к которым осуществляется обращение и посылаются запросы, отсут-

ствие какого-либо отображения ответов и достаточно необычное использование от-

ветов.

На практике, однако, с сайтов может запрашиваться только часть ресурсов.

Многие спайдеры, например, не запрашивают изображения или мультимедийные

ресурсы. Это делается, если спайдер используется для построения индекса только

текстовых ресурсов.

Допустим, сайт www.kandrse.coin желает предоставить поисковый сервис,

сходный с тем, который предоставляют популярные системы Excite и AltaVista.

Сайт www.kandrse.com использует спайдер для загрузки страниц, подлежащих ин-

дексированию. Спайдер обычно начинается с базового списка популярных сай-

тов — известного как начальный список (start-list), за которым следуют все URL,

которые будут найдены в составе сайтов начального списка. В качестве примера

начального списка можно привести перечень категорий, присутствующий на попу-

лярных сайтах, таких как Yahoo. Построение начального списка популярных сай-

тов и распределение задач представляют собой наиболее интересную техническую

задачу при создании спайдеров.

Спайдер загружает начальную страницу сайта (например, http://www.cnn.com/)

и просматривает все встроенные в нее гиперссылки. Для каждой гинерссылки он

может загрузить соответствующую страницу, — это называется обходом сначала

в ширину (breadth-wise). Осуществляется переход по каждой гипертекстовой ссыл-

ке в составе сайта (т.е. гиперссылкам, имеющим суффикс cnn.com/, например,

http://www.cnn.com/nebraska.html или http://www.cnn.com/weatherpage.html),

а затем переходы по гиперссылкам на полученной странице и т.д. Есть и другой

способ: спайдер может отобрать первую встроенную гинерссылку и, предполагая,

что гиперссылка обращается также к HTML-доку менту, осуществить сигггаксиче-

ский анализ документа и перейти по первой встроегнюй гиперссылке (если она

имеется). Подобный подход называется обходом сначала в глубину (depth-wise).

Здесь следует позаботиться о недопущении замкнутых циклов в результате перехода

по гиперссылке, которая ранее уже была обработана. Множество страниц может

иметь встроенные ссылки на одну и ту же страницу, либо страница в глубине иерар-

хии сайта может иметь ссылку на страницу верхнего уровня. Например, страница

Глава 2. Web-клиенты 65

http://www.cnn.com/foreign/latvia/riga/opera/2000/schedule.html может иметь

ссылку на http://www.cnn.com. Спайдер может также использовать другие алго-

ритмы для пропуска нежелательных страниц или сайтов; например, содержимое

сайта может быть признано неподобающим. Многие спайдеры также принимают

решение осуществлять индексирование лишь до определенного уровня глубины

сайта. В результате сочетания обходов в ширину и в глубину могут быть собраны

все ресурсы сайта. Время последнего посещения сайта записывается и использует-

ся при принятии решения о повторном его индексировании.

Спайдер может попытаться загрузить все ресурсы сайта за один раз, либо, что

является более правильным, разбить эту задачу на отдельные части и выполнять ее

в течение некоторого периода времени. В противном случае исходный сервер сайта

может оказаться слишком загруженным при получении запросов от спайдера и не

сможет обслуживать запросы от обычных пользователей. Большинство используе-

мых в Web спайдеров не возвращаются к одному и тому же сайту чаще одного или

двух раз в минуту. Спайдеры могут не загружать определенные в ресурсы в поис-

ковую систему www.kandrse.com. Например, если сайт поисковой системы наме-

ревается построить инвертированный индекс только текстовых ресурсов, загру-

жать изображения нет надобности.

После того как сайт был проиндексирован, спайдер должен периодически по-

вторно посещать сайт, поскольку содержимое последнего может изменяться. Одна-

ко содержимое одних сайтов может меняться не столь часто, как содержимое дру-

гих сайтов. Спайдер должен обладать достаточным интеллектом, чтобы переиидек-

сировать сайты в соответствии со скоростью изменения информации на них. Это

позволяет сократить объем работы и избежать излишних обращений к сайту. Кро-

ме того, некоторые составные части сайта могут меняться чаще, чем другие. Спай-

дер должен, таким образом, учитывать структуру информации на сайте и просмат-

ривать регулярно меняющиеся части более часто.

В то время как статические ресурсы могут быть достаточно легко проанализи-

рованы спайдером, динамические ресурсы обычно не индексируются. Ряд ресурсов

сайта может динамически создаваться с помощью CGI-сценариев (см. главу 4, раз-

дел 4.2.3). Сценарии часто используют параметры, а спайдер «не знает», какие зна-

чения параметров следует использовать при вызове. Основным назначением ин-

дексирования сайтов является возможность возвращать список гиперссылок на

страницы в ответ на запрос. Таким образом, даже если бы это было возможно,

в индексировании динамических ресурсов нет особого смысла. Если спайдер «за-

мечает», что сайт состоит главным образом из динамических ресурсов, он может не

индексировать статические страниц сайта, а также динамически генерируемые ре-

сурсы, которые не изменяются в зависимости от параметров запросов. Иногда на

сайте имеются ресурсы, которые недостижимы через ссылки извне. Спайдеры не

зиают о существовании таких ресурсов и не индексируют их.

Сайт может оказаться не в состоянии противодействовать индексированию себя

спайдером. Хотя многим сайтам индексирование выгодно (многие создатели Web-

страниц хотели бы, чтобы их страницы увидело как можно больше людей), некото-

рые сайты предпочитают, чтобы их «не беспокоили». Для разрешения этой пробле-

мы существует ряд соглашений. Нет простого способа сделать так, чтобы ресурс

был доступен любым клиентам кроме спайдеров, поскольку вряд ли можно разли-

чать клиентов, посещающих сайт. Каждый запрос, поступающий от клиента, рас-

сматривается как независимый запрос, и серверам пришлось бы хранить значи-

тельный объем информации о состоянии, чтобы отслеживать частоту поступления

запросов от определенных клиентов в надежде обнаружить спайдер. Кроме того,

Часть

П.

Компоненты программного обеспечения

Web

подобный механизм может оказаться бесполезным, если спайдеры не посылают все

свои запросы с одного IP-адреса, либо меняют частоту передачи запросов конкрет-

пому сайту. Даже если исходному серверу известно, что клиентом является спай-

дер,

обеспечить селективный доступ может оказаться затруднительным, поскольку

серверу придется проверять каждый входящий запрос, чтобы выяснить, не посту-

пил ли он от спайдера. Подобное действие может увеличить время ожидания на

стороне клиентов.

Существует два соглашения, которым обычно следуют сайты, чтобы каким-то

образом контролировать работу индексирующих их спайдеров. Спайдеры должны

иметь стимул вести себя надлежащим образом; в противном случае поисковая сис-

тема может заслужить плохую репутацию. На уровне сайта это может быть реали-

зовано следующим образом: администратор Web-сайта ведет файл с именем

robots.txt. Робот — это одно из названий автоматизированного клиента (такого,

как спайдер), а файл robots.txt содержит правила доступа, которым должны следо-

вать роботы. Web-сайты используют этот файл в соответствии со стандартом Ro-

bot Exclusion Standard [RES]. Файл содержит список каталогов, которые спайдеры

не должны посещать, а также спецификацию агентов пользователя, к которым эти

ограничения применяются.

Например, рассмотрим следующий файл robots.txt:

User-agent:

Disallow: /stats

Disallow: /cgi-bin/

Disallow: /Excite/

В нем указывается, что всем агентам пользователя разрешается загружать ре-

сурсы с сайта для индексирования. Если в поле User-agent присутствуют одна или

несколько строк (вместо

"*"),

например:

User-agent: ArachnoPhobia, BlackWidow

то два указанных агента пользователя распознаются как клиенты, которые не мо-

гут обращаться к сайту для индексирования. Web-сервер не осуществляет ка-

кой-либо явной проверки или действий по запрету доступа.

Строки Disallow используются для указания каталогов (/states, /cgi-bin, /Exci-

te),

которые не должны просматриваться программами-роботами, в том числе

спайдерами. Опять-таки, сервер не может реализовать такие ограничения. Стан-

дарт Robot Exclusion Standard [RES] определяет соглашения, которым должен сле-

довать «добропорядочный» робот. Побудительным мотивом для роботов следовать

стандарту является то, что сайтам часто известен набор ресурсов, которые нет

смысла индексировать. В приведенном выше примере каталог cgi-bin скорее всего

содержит группу ресурсов, которые при вызове с различными значениями пара-

метров с большой вероятностью будут возвращать различные результаты.

Таблица 2.4. Некоторые поисковые системы

Поисковая система

AltaVista

(обычный спайдер)

Euroseek

Имя агента

Scootcr/2.0 G.R.A.B. Х2.0

Scooter/1.0 scooter@pa.dec.com

Arachnoidea

(arachnoidea@euroscek.com)

Доменное имя спайдера |

scooter.pa-x.dec.com

scooter*.av.pa-x.dcc.com ]

*.euroseek.net

(infra.curoscek.net)

Глава 2. Web-клиенты

Поисковая система

Excite

Google

Inktomi

1Infoseek

Lycos

Northern Light

Имя агента

ArchitextSpider

BackRub/2.1

Slurp/2.0

Infoseek Sidewinder/0.9

Lycos_Spider (T-Rex)

Gullivcr/L2

Доменное имя спайдера

crawl*.atext.com

google.com

*.inktomi.com

*.infoseek.com

lycosidae.lycos.com

taz.northernlight.com

Второй способ сообщить роботам о том, какие ресурсы не следует индексиро-

вать

—

воспользоваться HTML-тегом МЕТА. Например, тег

<МЕТА NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

информирует робота, что текущий ресурс не должен индексироваться и не следует

осуществлять переходы по гиперссылкам в ресурсе. При синтаксическом анализе

HTML-документа снайдеры просматривают значение атрибута CONTENT тега

МЕТА с целью выяснения, могут ли они индексировать этот документ или осуще-

ствлять переходы по имеющимся в нем гиперссылкам.

В таблице 2.4 представлен список известных спайдеров

[Spi],

используемых не-

которыми популярными поисковыми системами. В первом столбце указано назва-

ние поисковой системы, во втором столбце — имя, присвоенное спайдеру, а

в третьем столбце

—

доменное имя компьютера, на котором размещен спайдер. Ин-

формация предоставляется в виде идентификационных данных, которые Web-сайт

может использовать, для обеспечения не слишком частого доступа спайдера к сай-

ту. Большинство известных спайдеров следуют стандарту Robot Exclusion Stan-

dard. К главным отличиям между спайдерами относятся общее число посещаемых

сайтов, общее количество индексируемых ресурсов и частота нереиндексирования.

Ряд современных спайдеров способны осуществлять индексирование миллиардов

Web-страниц и делать их доступными для поиска. Сравнение эффективности раз-

личных поисковых систем можно найти в [LG99]. Большинство компаний не рас-

крывают информацию о своих спайдерах, поскольку среди поисковых систем име-

ется сильная конкуренция. Подробную информацию о расширяемом средстве ска-

нирования Web с описанием его возможностей можно найти в [HN99].

2.7.3.

Использование спайдеров в поисковых системах

Снайдеры помогают поисковым системам индексировать страницы Web-сайтов.

В зависимости от сложности спайдера, размера начального списка и доступных

спайдеру ресурсов, инвертированный индекс может быть создан для всех или для

некоторых страниц. За последние 20 лет были созданы сложные алгоритмы по-

строения предметных указателей для больших наборов документов [WMB99].

Сайты поисковых систем являются, пожалуй, наиболее популярными в Web.

Сайты

порталов,

такие как yahoo.com, excite.com, google.com и altavista.com, яв-

ляются отправными точками для множества приложений. О порталах подробнее

рассказывается в главе 4, раздел АЛ. Практически все порталы имеют пользова-

тельский интерфейс для поиска. Поисковая система предоставляет пользователю

возможность для ввода одного или нескольких ключевых слов. Ключевые слова

ищутся в инвертированном индексе, после чего возвращаются указатели па содер-

жащие эти слова документы (если таковые имеются). Поиск может быть ограничен

Часть

Компоненты программного обеспечения

Web

одной базой данных (например, содержащей ссылки на группы новостей или свод-

ки показателей стоимости акций), либо поиск осуществляется по всему индексиро-

ванному содержимому Web. Многие пользователи тратят значительное время на

поиск. Одной из причин этого является отсутствие хорошего единого предметного

указателя для Web. К наиболее популярным сайтам относится Yahool, который

индексирует сайты, но не содержимое всех страниц. Другими словами, для целей

индексирования отбираются только основные страницы сайтов. Поисковые сайты,

такие как AltaVista и Google, индексируют отдельные страницы в составе Web-

сайтов. Таким образом, сайты, подобные Yahool, могут использоваться для поиска

общей информации по теме, не вдаваясь в подробности, тогда как AltaVista и

Google более результативны для поиска отдельных документов.

Список возвращенных документов (или указателей на документы) называется

результирующим множеством. Поисковые системы различаются по уровню слож-

ности. Большинство поисковых систем предоставляет простые функции поиска,

с помощью которых в предметном указателе ищется одно или несколько ключевых

слов и возвращаются указатели на документы, в которых найдено

любое

вхождение

ключевого слова. Наличие нескольких ключевых слов интерпретируется как требо-

вание выполнения логического оператора or (или). Поисковая система Google

[Goo] предоставляет пользователям простой интерфейс. Искомые термины объеди-

няются с помощью логического оператора and (и), при этом возвращаются ссылки

только на документы, содержащие все ключевые слова. Усовершенствованная вер-

сия поисковой системы AltaVista [Alt] и ее вариант Raging [Rag] имеют более

сложный интерфейс: пользователи могут использовать любую комбинацию опера-

торов and (и), or (или), not (не) и near

(около).

Оператор not (не) представляет со-

бой унарное отрицание, и документы, содержащие искомый термин, исключаются

из результирующего множества. Оператор near (около) используется для задания

расстояния между ключевыми словами в документе Путем сочетаний различных

операторов можно получить результирующее множество, соответствующее требо-

ваниям пользователя и содержащее умеренное число документов.

Двумя основными показателями поисковых систем, выработанными в результа-

те многолетних исследований, являются полнота (recall) и точность (precision).

Полнота оценивает широту охвата искомого множества, т.е. объем результирующе-

го множества как функция от размера списка документов, в которых встречаются

искомые ключевые слова. Если объем результирующего множества большой, поль-

зователи могут быть уверены, что они получили полный ответ. К сожалению, при-

нимая во внимание неоднозначность естественного языка, большинство «ответов»

в результирующем множестве могут не устраивать пользователя.

Предположим, например, что пользователь хочет узнать имя создателя храма

Парфенон в Греции. Строка поиска «создатель Парфенона» может вернуть множе-

ство страниц, относящихся к издательской компании «Парфенон», к греческим

ресторанам под названием «Парфенон», а также к различным архитекторам. Пока-

зателем качества ответа является

точность —

уместность документов в данном ре-

зультирующем множестве. Часто полнота и точность являются взаимоисключаю-

щими: возврат меньшего числа документов может увеличить точность, но полнота

при этом уменьшится. Аналогично, более широкое результирующее множество

в целом снижает точность. Противоречие между точностью и полнотой во многом

остается неразрешимым, и многие поисковые системы тратят массу усилий, пыта-

ясь повысить релевантность, возвращая, тем не менее, результирующее множество

достаточно большого объема. Сложность запросов на естественном языке и отсут-

ствие универсальных методов их обработки приводит к низкому качеству резуль-

Глава

Web-клиенты

татов. Подавляющее большинство запросов

—

па сегодняшний день, около 90%

—

к популярным поисковым системам, таким как AltaVista или Google, состоят из

одного термина.

После выполнения поиска и формирования списка всех документов, в которых

присутствуют ключевые слова, а также фильтрации но показателям полноты и точ-

ности с целью получения желаемого размера результирующего множества, поиско-

вая система должна

ранжировать

результаты. Ранжирование

—

это определение

порядка, в котором будут возвращаться результаты поиска. Если мощность множе-

ства результата для искомой строки «создатель Парфенон» составила 823, многие

поисковые системы могут возвратить только первые 200 соответствий. Однако оп-

ределение первых 200 соответствий требует ранжирования записей в результирую-

щем множестве. Ранжирование по частоте вхождений искомых ключевых слов

в документе не обязательно является хорошим показателем. Ранжирование на ос-

нове частоты вхождений ключевых слов является рискованной, поскольку некото-

рые авторы документов намеренно заполняют свои документы ключевыми слова-

ми,

известными как «ловушки запросов». Например, поскольку значительное чис-

ло запросов направлено на поиск материалов порнографического содержания (эта

тема не слишком широко обсуждается в научной литературе), создатели таких

Web-страниц добавляют на свои страницы множество наиболее распространенных

ключевых слов. Достаточно легко можно сделать эти ключевые слова невидимыми

при воспроизведении HTML-докумепта, установив для них нулевой размер шриф-

та или сделав так, чтобы текст сливался с фоном. Другими словами, эти ключевые

слова воспринимаются только программными компонентами поисковых систем,

осуществляющими ранжирование. Более интеллектуальные поисковые системы

уменьшают значение частоты вхождений терминов при использовании его в каче-

стве параметра для ранжировании. Хотя ранжирование

—

достаточно известная и

очевидная концепция, используемая при поиске информации, исследования пока-

зали, что большинство пользователей просматривают лишь несколько элементов

в результирующем множестве. На деле большинство популярных поисковых сис-

тем возвращает по 10 результатов за раз, хотя результирующее множество может

содержать тысячи документов. Большинство пользователей обычно не идут дальше

второй страницы результирующего множества; т.е. просматривается максимум 20

записей. Популярная поисковая система Google дает возможность пользователям

непосредственно переходить к первому документу в ранжированном списке ре-

зультатов в обход страницы с результатами поиска.

В последнее время в гюисковых системах было реализовано несколько новых

идей. Например, поисковые системы, такие как Google и Clever [CleJ, использова-

ли понятие

авторитетных

(authoritative) Web-страниц при ранжировании страниц

для повышения релевантности ответов. Многие пользователи считают, что Web-

сайт газеты New York Times является полезным сайтом и добавляют на свои собст-

венные страницы ссылки на этот сайт. Количество ссылок на страницу является

показателем как популярности, так и в некоторой степени доверия пользователей

к информации на этой странице. Если набор страниц ранжирован на основе числа

ссылок, указывающих на эти страницы, то страницы, количество ссылок на кото-

рые наибольшее, возвращаются пользователю в первую очередь. Подобная класси-

фикация использует неявно выраженную степень доверия к странице пользовате-

лей. Такая информация собирается спайдерами и используется для ранжирования

результатов поиска. При этом существенно возрастает потенциальная релевант-

ность результатов поиска, поскольку обычно люди не создают ссылки на мало по-

лезные сайты. Программы разбиения сайтов на категории используют специфиче-