Кришнамурти Б., Рексфорд Дж. Web-протоколы. Теория и практика
Подождите немного. Документ загружается.
Web-протоколы
Теория
и
практика
Web Protocols and Practice
HTTP/1.1,
Networking Protocols, Caching,
and Traffic Me^asurement
Balachander Krishnamurthy
Jennifer Rexf ord
• T
Addison-Wesley
Boston • San Francisco • New York • Toronto • Montreal
London • Munich • Paris • Madrid
Capetown • Sydney • Tokyo • Singapore • Mexico City
Б. Кришнамурти, Дж. Рексфорд
Web-протоколы
Теория и практика
НТТР/1.1,
взаимодействие протоколов,
кэширование, измерение трафика
Перевод
с английского
под редакцией
А.И.
Тихонова
i
Москва
ЗАО "Издательство
БИНОМ"
2002
УДК 004.057.4
ББК 32.973.26-018.1
К82
Перевод с английского
Задорожного
С.
С, Левнука Ю.А.
Б.
Кришнамурти, Дж. Рексфорд
Web-протоколы. Теория и практика. — М.: ЗАО «Издательство БИНОМ»,
2002 г. - 592 с: ил.
В книге всесторонне рассмотрены компоненты и протоколы, ответственные за
передачу Web-содержания. Книга может быть полезной администраторам Web-сайтов,
разработчикам, использующим Web-технологии, студентам, изучающим Web и сетевые
технологии, а также студентам и специалистам по информационным технологиям.
Книга фокусирует внимание на вопросах совершенствования и надежности функцио-
нирования Web. В противоположность быстро меняющимся технологиям создания и
отображения Web-содержания, коммуникационные протоколы, рассматриваемые в
книге, гораздо меньше подвержены изменениям. Функционирование Web и взаимо-
действие между различными компонентами проиллюстрировано многочисленными
примерами. Книга включает развернутые примеры использования протокола HTTP,
обзор принципов кэширования и передачи мультимедийных потоков в Web с учетом
последних достижений, а также практические примеры использования Web-, прокси-
серверов и методов измерения параметров Web-трафика.
Authorized lianslation from ihc English language edition, entitled Web Proloeols and Practice: HTTP/1.1, Networking protocols.
Cashing, and Traffic Measurement, First Edition by Balachander Krishnamurlhy, published by Pearson Education, Inc.
publishing as ADDISON WESLEY LONGMAN. Copyright
CO
2001 by AT&T Corp.
All rights reserved. No part of this book may be reproduced or iran.smitted in any form or by any means, electronic or
mechanical, including photocopying, recording or by any information storage retrieval system, without permission from Pearson
Education, Inc.
Ru.ssian language edition published by BINOM PUBLISHERS. Copyright
(O
2002 by BINOM PUBLISHERS.
Bee право защищены. Никакая часть этой книги не может быть воспроизведена в любой форме или любыми средст-
вами, электронными или механическими, включая фотографирование, магнитную запись или иные средства копиро-
вания или сохранения информации без письменного разрешения издательства.
ISBN 5-7989-0255-2 (русск.)
Authorized translation from
the
EngUsh language edition
ISBN 0-201-71088-9 (англ.) ®
^"gi"al Copyright. AT&T Corp..
2001
^ ' ©
Издание
на
русском языке.
ЗАО «Издательство БИНОМ», 2002
Научно-техническое издание
Балачандср Кришнамурти, Дженифер Рексфорд
Web-iipoTOKOJibi.
Теори}!
и
iipaiciика
Компьютерная верстка
СВ.
Лычагина
Подписано
в
печать 23.04.2002. Формат 70xl00/i6. Усл. печ. л.
48,1
Гарнитура Petersburg. Бумага газетная
Печать офсетная. Тираж 3000 экз. Заказ Х9
1062
ЗАО «Издательство БИНОМ», 2001
г.
103473,
Москва, Краснопролетарская,
16
Лицензия
на
издательскую деятельность
№
065249
от
26 июня 1997
г.
Отпечатано
с
готовых диапозитивов
во
ФГУП
ИПК
«Ульяновский
Дом печати», 432980,
г.
Ульяновск, ул. Гончарова,
14
Содержание
Предисловие 13
Благодарности 17
ЧАСТЬ I. Вводная 19
Глава 1. Введение 21
1.1. Происхождение и развитие World Wide Web 21
1.1.1. История развития Web 22
1.1.2.
Web сегодня 24
1.2. Семантические компоненты Web 26
1.2.1. Унифицированные идентификаторы ресурсов (URI) 26
1.2.2.
Гипертекстовый язык разметки (HTML) 26
1.2.3. Протокол передачи гипертекста (HTTP) 27
1.3. Термины и нринцины 27
1.3.1. Web-содерл^имое 28
1.3.2.
Программные компоненты 29
1.3.3. Сеть 30
1.3.4.
Стандартизация 31
1.3.5.
Web-трафик и производительность 32
1.3.6.
Web-приложения 33
1.4. Темы, оставшиеся нераскрытыми 34
1.5. Краткий экскурс но книге 35
ЧАСТЬ II. Компоненты программного обеспечения Web ... 39
Глава 2. Web-клиенты 41
2.1.
Клиент как программа 42
2.2.
Эволюция браузеров 42
2.3.
Функции браузера, относящиеся к Web 44
2.3.1.
Классический пример, иллюстрирующий фyнкщнIWeb-бpayзepa 46
2.3.2. Выдача запроса браузером 47
2.3.3.
Кэширование в браузере 48
2.3.4. Заго.ловки сообщения-запроса 49
2.3.5.
Обработка ответов 50
2.4. Настройка браузера 51
2.4.1.
Внешний вид 51
2.4.2. Семантические настройки 53
2.4.3.
Настройка в браузере функций, не связанных с протоколами 54
2.5.
Вопросы безопасности при работе с браузером 57
2.6.
Cookies 58
2.6.1.
Причины использования cookies 59
2.6.2. Использование cookies в браузере 60
2.6.3.
Контроль пользователя над cookies 61
2.6.4. Проблемы нарушения конфиденциальности, связанные с cookies 61
2.7.
Спайдеры 63
2.7.1.
Поиск в Web 63
2.7.2. Клиент-снайдер 64
2.7.3.
Использование спайдеров в поисковых системах 67
Web-протоколы. Теория и практика
2.8.
Интеллектуальные агенты и браузеры специального назначения .... 70
2.8.1.
Интеллектуальные агенты 71
2.8.2. Браузеры специального назначения . 72
2.9.
Резюме 74
Глава 3. Прокси-серверы 75
3.1.
История и эволюция прокси-серверов 76
3.2. Высокоуровневая классификация прокси-серверов 79
3.2.1.
Кэширующие прокси-серверы 79
3.2.2. Прозрачный прокси-сервер 79
3.3.
Применение прокси-серверов 80
3.3.1.
Совместный доступ к Web 80
3.3.2. Кэширование ответов 80
3.3.3.
Анонимизация клиентов 81
3.3.4. Преобразование ответов и запросов 82
3.3.5.
Шлюзы к системам, не являющимся HTTP-серверами 82
3.3.6. Фильтрация запросов и ответов 83
3.4. Роль прокси-серверов в обработке запросов и ответов HTTP 85
3.4.1.
Этапы обмена запросами и ответами при наличии прокси-сервера 85
3.4.2. Обработка запросов и ответов HTTP . 86
3.4.3.
Прокси-сервер в ро.71и Web-сервера 88
3.4.4. Прокси-сервер в роли Web-клиента . .' 89
3.4.5.
Пример использования прокси-сервера 90
3.5.
Цепочки прокси-серверов и иерархии 91
3.6. Настройка прокси-сервера 92
3.7. Проблемы, связанные с копфидепциальиостью 92
3.8.
Другие виды прокси-серверов 93
3.8.1.
Обратные прокси-серверы или серверы-заместители 94
3.8.2. Перехватывающие прокси-серверы 94
3.9. Резюме 95
Глава 4. Web-серверы 97
4.1.
Web-сайты и Web-серверы 97
4.1.1.
Web-сайт 98
4.1.2.
Web-сервер 99
4.2.
Выполнение клиентского запроса 100
4.2.1.
Этапы выполнения клиентского запроса 100
4.2.2.
Управ.яение доступом 102
4.2.3.
Динамическое создание ответов 104
4.2.4. Создание и использование cookies 109
4.3.
Совместное использование информации несколькими запросами . . . 111
4.3.1.
Совместное использование HTTP-ответов нескольки.ми запросами . . . . 111
4.3.2.
Хранение iMeтaдaнныx между запросами 112
4.4.
Архитектура сервера 114
4.4.1.
Архитектура серверов с управлением по событиям 114
4.4.2.
Архитектура серверов с управлением по процессам 115
4.4.3.
Серверы с гибридной архитектурой 117
4.5.
Размещение Web-серверов 118
4.5.1.
Несколько Web-сайтов па одном компьютере 118
4.5.2.
Несколько компьютеров для одного Web-сайта 120
4.6.
Практический пример. Web-сервер Apache 122
4.6.1.
Управление ресурсами 122
4.6.2.
Обработка HTTP-запросов 125
4.7.
Резюме 129
Содержание 7
ЧАСТЬ III. Web-протоколы 131
Глава 5. Протоколы, связанные с HTTP 133
5.1.
Internet Protocol 134
5.1.1.
Эволюция архитектуры Internet 134
5.1.2. Цели разработки IP 136
5.1.3.
IP-адреса 140
5.1.4. Заголовок IP 143
5.2. Transmission Control Protocol 147
5.2.1.
Абстракция сокетов 147
5.2.2. Упорядоченный, надежный ноток байтов 149
5.2.3.
Открытие и закрытие ТСР-соединения 151
5.2.4. Управление потоком с помощью скользящего окна 153
5.2.5. Повторная передача утерянных пакетов 154
5.2.6. Адаптация к загруженности сети в TCP 156
5.2.7. Описание ТСР-заголовка 158
5.3.
Служба имей доменов (DNS) 161
5.3.1.
DNS-преобразователь 161
5.3.2. Архитектура DNS 162
5.3.3.
Протокол DNS 165
5.3.4. DNS-занросы и Web 167
5.3.5. Выравнивапие нагрузки па Web-серверы с помощью DNS 168
5.4. Протоколы прикладного уровня 170
5.4.1.
Протокол Telnet 170
5.4.2. File Transfer Protocol 171
5.4.3.
SMTP — простой протокол передачи электронной почты 174
5.4.4. Network News Transfer Protocol 176
5.4.5. Свойства протоколов прикладного уровня 178
5.5.
Резюме 180
Глава 6. Структура и описание протокола HTTP 181
6.1.
Обзор HTTP 182
6.1.1.
Свойства протокола 184
6.1.2. Влияние других протоколов 188
6.2. Элементы языка HTTP 191
6.2.1 Термины, относящиеся к HTTP 191
6.2.2. Методы запроса НТТР/1.0 195
6.2.3.
Заголовки НТТР/1.0 199
6.2.4. Классы ответов НТТР/1.0 207
6.3.
Расширяемость HTTP 211
6.4. SSL и безопасность 211
6.4.1.
SSL 212
6.4.2 HTTPS. Использование SSL при обмене данными в Web 213
6.4.3.
Безопасность в НТТР/1.0 214
6.5 Совместимость и взаимодействие протоколов 216
6.5.1.
Номер версии и совместимость 216
6.5.2. Уровни требований MUST (обязательный),
SHOULD (желательный) и MAY (возможный) 217
6.6. Резюме 218
Глава?.
НТТР/1.1 219
7.1.
Эволюция протокола НТТР/1.1 219
7.1.1.
История развития НТТР/1.0 220
7.1.2. Проблемы, связанные с НТТР/1.0 222
7.1.3.
Новые концепции в НТТР/1.1 . 223
7.2. Методы, заголовки, коды ответов в 1.0 и 1.1 . . . 226
Web-протоколы. Теория и практика
7.2.1.
Старые и новые методы запросов 226
7.2.2. Старые и новые заголовки 227
7.2.3.
Старые и новые коды ответов 231
7.3.
Кэширование 235
7.3.1.
Термины, относящиеся к кэшированию 236
7.3.2. Кэширование в НТТР/1.0 237
7.3.3.
Кэширование в НТТР/1.1 : .... 238
7.4. Оптимизация загрузки сети 248
7.4.1.
Запросы на диапазоны 248
7.4.2. Механизм Expect/Continue 253
7.4.3.
Сжатие 256
7.5.
Управление соединениями 257
7.5.1.
Заголовок Connection. Механизм Keep-Alive в НТТР/1.0 258
7.5.2. Эволюция механизма долговременных соединений в НТТР/1.1 259
7.5.3.
Заголовок Connection 262
7.5.4. Конвейеризация в долговременных соединениях 263
7.5.5.
Закрытие долговременных соединений 264
7.6. Передача сообндений 266
7.7. Расширяемость 269
7.7.1.
Получение информации о сервере 269
7.7.2. Получение информации о промежуточных серверах 272
7.7.3.
Переход к другим протоколам 273
7.8.
Сбережение Internet-адресов 274
7.9. Согласование содержания - 276
7.10. Безопасность, аутентификация и целостность 279
7.10.1.
Обеспечение безопасности и аутентификация 280
7.10.2. Целостность 281
7.11.
Роль прокси-серверов в НТТР/1.1 282
7.11.1.
Типы прокси-серверов 282
7.11.2. Синтаксические требования к прокси-серверу,
поддерживающему НТТР/1.1 283
7.11.3.
Семантические требования к прокси-серверу,
поддерживающему НТТР/1.1 284
7.12. Различные изменения 286
7.12.1.
Различные изменения, относящиеся к методам 286
7.12.2. Различные изменения, относящиеся к заголовкам 288
7.12.3.
Различные изменения, относящиеся к кодам ответов 290
7.13.
Резюме 294
Глава 8. Взаимодействие HTTP и TCP 295
8.1.
Таймеры TCP 295
8.1.1.
Таймер повторной передачи 296
8.1.2. Повтор фазы медленного старта 299
8.1.3.
Сохранение состояния TIME_WAIT 302
8.2. Разделение функций между HTTP и TCP '. 307
8.2.1.
Отмененные HTTP-передачи 308
8.2.2. Алгоритм Нагла 311
8.2.3.
Отложенные подтверждения 314
8.3.
Мультиплексирование ТСР-соединений 316
8.3.1.
Причины использованрш параллельных соединений 317
8.3.2. Проблемы с параллельными соединениями 318
8.4. Загрузка сервера 319
8.4.1.
Совмещение вызовов системных функций 319
8.4.2. Управление соединениями 321
8.5. Резюме 324
Содержание 9
ЧАСТЬ IV. Измерение и описание Web-трафика 325
Глава 9. Измерение Web-трафика 327
9.1.
Мотивация измерений Web-трафика 328
9.1.1.
Мотивация для разработчиков Web-сайтов 328
9.1.2. Мотивация для компаний, занимающихся хостингом 328
9.1.3.
Мотивация для сетевых операторов 329
9.1.4. Мотивация для исследователей и разработчиков 330
9.2. Технологии измерений 330
9.2.1.
Протоколирование на Web-серверах 330
9.2.2. Протоколирование на прокси-серверах 332
9.2.3.
Протоколирование на клиентах 333
9.2.4. Мониторинг пакетов 334
9.2.5.
Активные измерения 335
9.3.
Журналы Web-серверов и прокси-серверов 337
9.3.1.
Common Log Format (CLF) 337
9.3.2. Extended Common Log Format (ECLF) 339
9.4. Предварительная обработка результатов измерений 340
9.4.1.
Синтаксический анализ результатов измерений 341
9.4.2. Фильтрация результатов измерения 341
9.4.3.
Преобразование данных измерений 342
9.5.
Получение информации но результатам измерений 343
9.5.1.
Ограничения информации об HTTP-заголовках 343
9.5.2. Неоднозначная идентификация клиента/сервера 344
9.5.3.
Реконструкция действий пользователя 345
9.5.4. Отслеживание модификации ресурсов 346
9.6. Примеры исследовательских проектов 347
9.6.1.
Исследование журналов Web-серверов, проведенное
Университетом провинции Саскачеван 348
9.6.2. Исследование журналов прокси-серверов в Британской Колумбии .... 349
9.6.3.
Исследование клиентских журналов Бостонского университета 350
9.6.4. Мониторинг пакетов в AT&T 351
9.7. Резюме 352
Глава 10. Описание параметров рабочей нагрузки 353
10.1.
Характеристики рабочей нагрузки 354
10.1.1.
Применение модели нагрузки 354
10.1.2.
Выбор параметров рабочей нагрузки 355
10.2.
Статистики и распределения вероятностей 357
10.2.1.
Среднее, медиана и дисперсия 357
10.2.2.
Распределения вероятностей 358
10.3.
Характеристики HTTP-сообщений 359
10.3.1.
Методы HTTP-запросов 359
10.3.2.
Коды HTTP-ответов 360
10.4.
Характеристики Web-ресурсов 362
10.4.1.
Типы содержания 362
10.4.2.
Размеры ресурсов 363
10.4.3.
Размеры ответов 366
10.4.4.
Популярность ресурсов 367
10.4.5.
Изменения ресурсов 369
10.4.6.
Временная локализация 371
10.4.7.
Число встроенных ресурсов 372
10.5.
Характеристики поведения пользователя 373
10.5.1.
Сеанс и прибытие запроса 373
10.5.2.
Число переходов па сеанс 374
10.5.3.
Временные интервалы между запросами 374