Гладких Б.А. Информатика от абака до интернета. Введение в специальность

Подождите немного. Документ загружается.

§ 4.9] WEB-РЕВОЛЮЦИЯ 421

Следующие несколько лет многочисленные пользователи Сети на-

блюдали драматическую «войну браузеров». Начальная расстановка

сил не предвещала Microsoft ничего хорошего: выпущенный в августе

1995 года Internet Explorer (IE) 1.0 представлял собой наспех переде-

ланный Mosaic и не шел ни в какое сравнение с достаточно зрелыми

продуктами Netscape. К началу 1996 года он занимал всего 2% рынка, в

то время как Netscape Navigator (NN) – 71% (оставшаяся часть прихо-

дилась на Mosaic и другие, теперь уже забытые браузеры).

Первый удар сделала Microsoft, и это был удар ниже пояса: не сумев

пока догнать Netscape по качеству, она свой следующий браузер IE 2.0

сделала бесплатным, включив его в состав ОС Windows-95. Поднялся

страшный шум, Гейтса обвиняли в нечестной конкуренции и попытке

монополизировать рынок браузеров. Правительства нескольких штатов,

лоббируемые конкурентами, подали жалобу в суд, в результате завяза-

лось громкое «дело Microsoft», которое, затихая и вновь разгораясь,

тянулось много лет и кончилось, в общем-то, ничем.

Тем временем на доработку стратегического продукта Microsoft

бросила большие интеллектуальные силы и гигантские денежные сред-

ства (в бюджете 1996 года на исследования и разработки было выделе-

но 2 млрд долларов). В результате в августе 1996 года почти одновре-

менно с Netscape Navigator 3.0 вышла версии Internet Explorer 3.0. Оба

браузера имели массу новых возможностей, в частности поддержку

языка Java и новых изобразительных средств HTML. При этом выясни-

лось, что разработчики IE и NN реализовали эти новые возможности

по-разному, в итоге браузеры оказались частично несовместимыми. Ра-

зумеется, это делалось специально, как говорят французы, à la guerre

comme à la guerre – на войне как на войне, однако в проигрыше оказа-

лись ни в чем не повинные пользователи. Web-cтранички, оптимизиро-

ванные для одного браузера, некорректно отображались в другом. Дело

дошло до того, что разработчикам приходилось создавать по два вари-

анта одного и того же сайта, каждый для своего браузера. Парадоксаль-

ную ситуацию хорошо передает анекдот того времени. В магазин захо-

дит покупатель и просит: «Дайте, пожалуйста, коврик для мыши, со-

вместимый с Internet Explorer!»

Так или иначе, к концу 1996 года сектор IE увеличился до 15%, но

до победы было еще далеко. В последующие годы Microsoft методично

продолжала наступление, от версии к версии совершенствуя браузер.

Разрыв между конкурентами постепенно сокращался, к середине

1999 года позиции сторон выровнялись, а в октябре, когда на долю

422 КОМПЬЮТЕРНЫЕ СЕТИ [ГЛАВА 4

Internet Explorer приходилось уже 64%, стало ясно, что Microsoft побе-

ждает. Далее события развивались в полном соответствии с законами

капитализма: в 1999 году компания Netscape была продана гиганту

America On-Line за 4,2 млрд долларов акциями и, по некоторым сооб-

щениям, вообще покидает рынок браузеров, тем более что этот рынок

сам по себе перестал быть доходным, так как, вслед за Microsoft, ее

конкуренты вынуждены были сделать браузеры бесплатными.

Однако Netscape Navigator остался жив, он входит в комплект ком-

муникационных программ Communicator и занимает естественное место

в нише не-Windows приложений, свободной от засилия Microsoft. Более

того, фирма Netscape опубликовала в интернете исходный код этого

продукта и отдала его в руки мировой программистской общественно-

сти (проект Mozilla, браузер Firefox). Кто знает, может быть его ждет

счастливая судьба Linux?

Взрывное развитие интернета в последние годы XX ве-

ка кроме очевидных достоинств имело и оборотную

сторону. Информационных ресурсов в Сети стало так

много, что нахождение нужного документа среди десятков и сотен

миллионов ненужных превратилось в серьезную проблему. Гипертекст

и любые браузеры сами по себе не решают эту задачу, потому что вый-

IE 1.0 IE 2.0

Бесплатный!

NN1.0 NN 2.0 NN 3.0

IE 4.0 IE 5.0

100 %

20 %

40 %

60 %

80 %

1995 96 97 98 99 2000

994 2000

96 97 98 99

NN 4.0

IE 3.0

Организация

Netscape

продана AOL

Доля

рынка

Возбуждено

"дело Microsoft"

Опубликован код

браузера Mozilla

NN 6.0

Хроника войны браузеров

Поиск

в интернете

§ 4.9] WEB-РЕВОЛЮЦИЯ 423

ти на искомый ресурс только по гиперссылкам ма-

ловероятно. Бумажные справочники типа «Желтые

страницы интернета» помогают лишь отчасти из-за

того, что, во-первых, Сеть слишком велика для

любой книги разумных размеров, а, во-вторых,

ситуация в ней меняется настолько быстро, что

справочник успевает устареть, прежде чем выйдет

из печати. В связи с этим жизненно важной для

дальнейшей судьбы всемирной информационной

системы стала задача поиска разнообразных объ-

ектов (файлов, Web-страниц, пользователей и др.).

Для поиска в интернете разработаны специальные технологии.

Компании, которые предоставляют этот вид сервиса, собирают и регу-

лярно обновляют данные о сетевых ресурсах определенного вида, сис-

тематизируют и накапливают их в серверных базах, доступных для чте-

ния всем пользователям через клиентские программы (специализиро-

ванные или универсальные вроде Netscape Navigator или Internet

Explorer).

Средства поискового сервиса делятся на два типа: каталоги

(directories) и поисковые системы (search engines).

Интернет-каталоги. Прооб-

разом всех каталогов является

рассмотренная нами система

Gopher, систематизирующая до-

кументы Gopher-пространства.

Первым широко известным ка-

талогом для World Wide Web

стала система Yahoo! (с воскли-

цательным знаком), созданная в

1994 году докторантами Стен-

фордского университета Джерри

Янгом (Yang, Jerry) и Дэвидом

Фило (Filo, David). Слово Yahoo

является сокращением целой

фразы «Yet Another Hierarchical

Officious Oracle – Еще один

иерархический дружественный

путеводитель». Эта система выросла из коллекции интернет-ссылок,

которую разработчики составили для своих диссертаций. Когда список

Основатели Yahoo! Джерри Янг

и Дэвид Фило

424 КОМПЬЮТЕРНЫЕ СЕТИ [ГЛАВА 4

стал слишком большим и необозримым, они разбили его на несколько

рубрик. Когда рубрики выросли в объеме, их разделили на подрубрики

и т.д., так родилась будущая всемирно известная система. Система была

установлена на личных компьютерах авторов, слух о ней распростра-

нился среди знакомых и друзей, к ней постепенно стало обращаться все

больше и больше интернет-посетителей. Когда к осени 1994 года был

зарегистрирован первый миллион посещений, друзья поняли, что в их

руках находится потенциальный бизнес. Весной 1995 года с помощью

инвесторов были собраны 2 млн долларов и образована компания

Yahoo! Inc. со штаб-квартирой в местечке Сан Вэлли в Кремниевой до-

лине. Уже к 1997 году фирма имела доход 67 млн долларов и вошла в

список 200 крупнейших сетевых компаний. В настоящее время ее услу-

гами ежегодно пользуются 237 миллионов человек, адрес

www.yahoo.com является одним из самых популярных в интернете.

Компания не только ведет гигантский каталог по HTML-страницам, но

обеспечивает множество других интернет-услуг: полнотекстовый по-

иск, электронную коммерцию, интернет-вещание и др.

Пользователь

Главное

меню

Техника Спорт

Футбол БаскетболВолейбол

Каталог

WWW

Музыка

World Wide Web

URL URL URL

URL

В интернет-каталогах эксперты просматривают Сеть и вручную разносят

ссылки на Web-ресурсы по рубрикам

§ 4.9] WEB-РЕВОЛЮЦИЯ 425

Поисковые системы. В отличие от интернет-каталогов, поиско-

вые системы систематизируют данные в автоматическом режиме. День

и ночь программы-роботы, называемые пауками (spider), ползают по

Всемирной паутине, заглядывая во все ее уголки и составляя списки

просмотренных Web-cтраниц. Текст каждой страницы анализируется с

Штаб-квартира компании Yahoo!

426 КОМПЬЮТЕРНЫЕ СЕТИ [ГЛАВА 4

целью выявления значащих слов (то есть всех встречающихся в доку-

менте слов, за исключением артиклей, предлогов и наиболее употреби-

тельных слов, ничего не говорящих о содержании текста), встречаю-

щихся на данной странице. На основе этого анализа автоматически со-

ставляется полнотекстовый индекс (full-text index), в котором для каж-

дого слова перечислены адреса страниц, где это слово встречается. Ко-

гда пользователь передает поисковой системе запрос, представляющий

собой список ключевых слов (keywords), эти слова сопоставляются с ин-

дексом и определяются Web-страницы, релевантные (relevant), то есть

соответствующие запросу. Реальные алгоритмы установления степени

релевантности очень сложны, они учитывают не только факт наличия

ключевого слова в документе, но и его место (наиболее важные слова

обычно располагаются в заголовке или в начале документа), частоту

встречаемости и др. Эти алгоритмы основаны на самых последних дос-

тижениях в области лингвистики, математической логики и теории ис-

кусственного интеллекта, обычно они запатентованы или составляют

производственный секрет (know-how) данной поисковой системы.

В свете сказанного ясно, что промышленная полнотекстовая поис-

ковая система, обслуживающая всемирный интернет, представляет со-

бой мощнейший программно-аппаратный комплекс, создать который

под силу лишь крупной компании. Первой такой системой была

AltaVista – «взгляд сверху», созданная в 1995 году фирмой Digital

Equipment с целью демонстрации возможностей своих компьютеров.

Система работала на самых мощных компьютерах, произведенных ком-

Пользователь

Робот - паук

(spider)

Машина

индексирования

Исходные

страницы

Полнотекстовый

индекс

Копии

страниц

Поисковая

машина

World Wide Web

Запрос

Поисковая система

Ответ

В поисковой системе программы-роботы составляют полнотекстовый

индекс просмотренных Web-cтраниц

§ 4.9] WEB-РЕВОЛЮЦИЯ 427

панией, – это 16 серверов Alphaserver 8400, объединенных в кластер.

Каждый из серверов имеет 8 Гбайт оперативной памяти, содержит 12

RISC-процессоров Digital Alfa, в качестве жестких дисков используют-

ся высокоскоростные и надежные дисковые системы общим объемом,

измеряемым терабайтами (1 Тбайт = 1000 Гбайт). Полнотекстовый ин-

декс системы содержит информацию о 550 миллионах Web-страниц на

20 национальных языках, включая русский, японский, китайский и ко-

рейский. Более того, обеспечивается автоматический перевод результа-

тов поиска на многие языки (к сожалению, русского среди них пока

нет). Производительность системы такова, что, обрабатывая одновре-

менно множество запросов со всего света, она обеспечивает время отве-

та порядка 0,4–0,5 с.

Новейшие научные достижения в области мультимедиа позволили

поисковым системам индексировать не только тексты, но и встроенные

в Web-cтраницы изображения, звуковые и видеофайлы. Например, со-

ответствующий индекс AltaVista учитывает более 90 миллионов муль-

тимедиа-объектов.

Вслед за AltaVista в интернете появились конкурирующие поиско-

вые системы: Lycos, WebCrawler (от crawle – ползать), InfoSeek, Google

и ряд других; поисковую услугу ввела и фирма Yahoo.

Инвертированный полнотекстовый индекс

калина красная

Запрос: &=

роза

рябина

поле

калина

красный

сирень

цветет

Критерий релевантности

W = w

* w

Что

стоишь,

качаясь,

тонкая

рябина...

Ой, цветет

калина в

поле у

ручья...

Калинка,

калинка,

калинка

моя...

Цветет

сирень,

черемуха

в саду...

Ой, рябина,

рябинушка,

что взгруст-

нула ты...

2 3

Калина

красная,

калина

вызрела

...

Красную

розочку,

красную

розочку

я тебе

дарю...

Принцип построения полнотекстового индекса

428 КОМПЬЮТЕРНЫЕ СЕТИ [ГЛАВА 4

Наибольших успехов на поприще поисковых систем добилась ком-

пания Google, образованная в 1998 году двумя друзьями – аспирантами

Стенфордского университета Ларри Пейджем (Page, Larry; р. 1973) и

выходцем из России Сергеем Брином (Brin, Sergey; р. 1973). Само на-

звание «google» образовано от слова

«googol», которое в 1938 году приду-

мал американский математик Эдвард

Каснер (Kasner, Edward) для обозна-

чения «самого большого числа, кото-

рое можно себе представить», выра-

жаемого единицей со 100 нулями.

Компания старается оправдать это

название, ее поисковый индекс по

состоянию на начало мая 2005 года

содержал ссылки более чем на

8 миллиардов Web-страниц. Но самыми главнымы достоинствами по-

исковой машины Google являются высокое качество и скорость полно-

текстового поиска. Еще будучи студентами, Сергей Брин и Ларри

Пэйдж придумали технологию link popularity, которая при вычислении

релевантности кроме всего прочего учитывает количество и качество

ссылок на страницы с других страниц (Раge Rank).

Самым удивительным в поисковой машине Google является то, что

она совсем не рассчитана на суперкомпьютеры. Вместо этого там ис-

пользуются кластеры, содержащие десятки, если не сотни, тысяч про-

Основатели Google Ларри Пейдж

и Сергей Брин

§ 4.9] WEB-РЕВОЛЮЦИЯ 429

стеньких и дешевых компьютеров на платформе Intel. Механизм поиска

построен таким образом, что запросы равномерно распределяются меж-

ду тысячами процессоров, в результате скорость поиска по гигантскому

индексу измеряется долями секунды.

Такие свойства системы принесли ей необыкновенную популяр-

ность во всем мире. По некоторым оценкам, до 70% всего поискового

сервиса в мировом интернете обеспечивается поисковыми машинами

Google. В 2004 году акции компании вышли на фондовую биржу, к ис-

ходу первого дня торгов на планете появились два новых миллиардера.

Российские поисковые системы если не по объему, то по качеству

поиска не уступают западным. И хотя наличие флексий (изменяемых

частей слова) в русском языке существенно усложняет задачу построе-

ния полнотекстовых индексов, накопленный отечественной наукой

опыт построения библиографических информационно-поисковых сис-

тем позволил создать мощные и удобные в использовании поисковые

системы, самыми известными из которых являются Яndex, Rambler и

Aport. Кстати, в русскоязычных поисковых системах также использует-

ся Page Rank, например, в Яndex он называется индексом цитирования.

Домашняя страница Google отличается простотой и лаконичностью

430 КОМПЬЮТЕРНЫЕ СЕТИ [ГЛАВА 4

Предельная легкость, интуитивная понят-

ность и универсальность Web-интерфейса,

наличие в Сети развитых средств поиска

сделали интернет к началу XXI века уни-

версальной информационно-коммуника-

ционной средой и мощным средством ускорения информационной ре-

волюции, о которой мы говорили в самом начале этой книги. И хотя

сетевые технологии продолжают бурно развиваться, предлагая пользо-

вателям все новые и новые высокоуровневые услуги и соответствую-

щие им протоколы, уже сейчас ясно, что компьютерные сети изменили

мир не в меньшей степени, чем сами компьютеры. Билл Гейтс, хоть и с

опозданием, но все же оценивший роль информационных сетей в со-

временном мире, высказался очень образно и точно: «Интернет завтра

будет тем, чем сегодня является автомобиль».

Последствия этого феномена, его влияние на социальную сферу –

науку, культуру, образование, здравоохранение, – а также на всю миро-

вую экономику еще предстоит осмыслить и оценить. По этому поводу

написана не одна книга и будет написано еще очень много, недаром в

ряде вузов, в частности в Томском государственном университете, соз-

даются кафедры гуманитарных проблем информатики. В данном разде-

ле мы лишь упомянем некоторые, уже очевидные результаты продол-

жающейся интернет-революции.

В штаб-квартире Google в Силиконовой долине

Социальные

и экономические

последствия

интернет-революции