Галкин В.А., Григорьев Ю.А. Телекоммуникации и сети

Подождите немного. Документ загружается.

Архитектура сетевых ОС NetWare

Жесткий

диск

Рис. 8.34. Дублирование таблиц DET-

FAT-тома

Запись

Чтение

Жесткий диск

Блок

Рис 8.35. Проверка записи последующим чтением

Дублирование таблиц DET и FAT тома. Таблицы DET- и FAT-тома дуб-

лируются для каждого тома файлового сервера (рис.

8.34).

Дубли используют-

ся NLM-модулем VREPAIR.NLM в процессе «ремонта»

тома.

Программа этого

модуля последовательно читает записи DET и

FAT,

сопоставляет их, при необ-

ходимости корректирует эти записи и затем записывает изменения в обе копии

таблиц.

Проверка записи на диск последующим чтением. Если этот режим

включен, то после записи на диск блок данньпс читается и данные сравнивают-

ся с тем, что было записано (рис.

8.35).

Считается, что запись на диск выполнена успешно, если записанные и про-

читагшые данные совпадают. Режим проверки записи последующим чтением

можно включить для всех дисков файлового сервера с помощью SET-парамет-

ра ENABLE DISK READ AFTER WRITE. Для конкретного диска этот режим

можно включить/вьпспочить с помощью утилиты MONITOR.NLM (пункт меню

Disk Information/Read After Write Verify).

Динамическая переадресация дефектных блоков (Hot Fix). Если за-

писанные и затем прочитанные данные не совпадают, то считается, что соот-

ветствующая область на диске является дефектной и блок записывается в

область переназначения Hot Fix (рис.

8.36).

Жесткий диск

Дефектный блок

Таблица

переназначений

Область переназначений

% от

размера раздела NetWare)

Рис. 8.36. Динамическая переадресация дефектных блоков

500

8.5.

Обеспечение наделсности

При чтении блока с файлового сервера сначала ОС NetWare просматривает

таблицу переназначения, и если блок описан в этой таблице, то он читается из

области переназначения Hot Fix. В противном случае блок читается из основ-

ной области раздела NetWare. Размер области Hot Fix устанавливается при

инсталляции файлового сервера.

Второй уровень надежности SFT-II

Второй уровень надежности SFT-II включает следующие решения:

• зеркальное отображение дисков (Disk Mirroring);

• дублирование дисков (Disk Duplexing);

• систему отслеживания транзакций TTS (Transaction Tracking System);

• использование устройств бесперебойного питания (UPS).

Рассмотрим эти решения подробнее.

Зеркальное отображение дисков. Ранние модели интерфейса IDE с же-

стким диском включают один канал, к которому могут быть подключены два

диска. С помощью программы INSTALL.NLM можно вьшолнить зеркализа-

цию диска

на диск 2 (рис. 8.37). Диск

является основным, а диск 2 - вспо-

могательным. После записи блока на диск

ОС NetWare автоматически запи-

сывает тот же блок на диск 2 (выполняет зеркальное отображение).

При вводе блок читается с диска 1. Если гфи чтении произошла неустрани-

мая ошибка ввода/вьюода, то NetWare помещает сообщение о неустранимой

ошибке ввода/вьшода в журнал администратора и отображает это сообщение

на экране файлового сервера. При этом NetWare автоматически переключает-

ся на работу с диском 2. Для замены диска 1 администратор должен вьшол-

нить следующие действия:

размонтировать тома диска 1,

отменить зеркальное отображение с помощью утилиты INSTALL.NLM (в

NetWare 5.x - NWCONFIG.NLM),

выйти из системы,

сменить диск 1,

вьшолнить повторную зеркализащпо с помощью утилиты INSTALL.NLM (в

NetWare 5.x - NWCONFIG.NLM).

Рис.

8.37. Зеркальное отображение дисков

501

Архитектура сетевых

ОС NetWare

Канал

Контроллер

^^^^^^^^

Канал

Контроллер

Диск 1

Диск 2 ДискЗ Диск 4

Рис, 8.38.

Дублирование дисков

Дублирование дисков. Современный интерфейс ГОЕ включает два кана-

ла, к каждому из которых можно подключить два диска (рис.

8.38).

Если вы-

полняется зеркализация дисков, которые подключены к разным каналам (дис-

ки 1, 3), то говорят о дублировании

дисков.

В этом случае операции вывода на

диски

ОС выполняет параллельно. При наличии очереди запросов на чте-

ние данных с диска 1 ОС NetWare организует параллельное чтение блоков с

диска 1 и диска 3.

Система отслеживания транзакций TTS. NetWare автоматически от-

слеживает транзакции, связанные с системной базой данных сетевых ресур-

сов (Bindery - NetWare 3.x, NDS - NetWare

4.х/5.х)

и предоставляет API-ин-

терфейс для ведения транзакций прикладными программами.

Системная база данных сетевых ресурсов (СБДСР) включает следующие

взаимосвязанные файлы: файл объектов, файл атрибутов и файл значений этих

атрибутов.

Пусть А, В, С - блоки соответствующих файлов, где хранится информация

о пользователе USER, иа, b, с- записи о пользователе USER в этих блоках.

Предположим, что администратор удаляет пользователя USER из СБДСР, т. е.

данные с, в, а должны быгь исключены из блоков С,

В,

А. При выполнении этих

изменений система TTS записывает в транзакционный файл BACKOUT.TTS

(том S YS) данные с, в, а до изменения соответствующих блоков (верхняя стрел-

ка на рис.

8.39).

Вывод

файл

BACKOUT.TTS

Откат СБДСР

До изменения

блока

До изменения

блока В

До изменения

блока А

Рис.

8.39. Транзакщ10нный файл BACKOUT.TTS

502

8,5.

Обеспечение надеэюности

Кэш-память

А~а

В-Ь

С~с

Диск

В-Ь

С-с

Рис.

8.40. Возможное состояние кэш-памяти

диска

Допустим, что при перезаписи данных из ОП на диск на файловом сервере

произошел сбой

(т.

е. он «завис»). На

рис.

8.40 показаны возможные состояния

кэш-памяти и диска. Знак «-» на рисунке означает, что блок не содержит соот-

ветствующие записи. Из рис. 8.40 видно, что в силу случайности блок А после

изменения (А-а) не бьш перезаписан из кэша на

диск.

При перезапуске файло-

вого сервера ОС NetWare открьюает файл BACKOUT.TTS и вьшолняет откат

СБДСР, т. е. система TTS читает с конца файла записи до изменершй (стрелка

внизу на рис. 8.39) и восстанавливает их в СБДСР. В результате блоки С, В, А

будут восстановлены (рис. 8.41, а). Необходимо отметить, что данные одной

транзакции будут потеряны, но будет обеспечена целостность СБДСР, что на-

много важнее.

Если ОС NetWare не ведет транзакции (TTS можно отключить с помощью

консольной команды DISABLE

TTS),

то после восстановления системы СБДСР

будет содержать данные, соответствующие состоянию диска перед сбоем (см.

рис.

8.40 и 8.41, б), т. е. в этом случае произойдет нарушение целостности БД,

пользователь не удален из СБДСР, но его свойства b и их значения с оказались

потерянными.

Использование устройств бесперебойного питания (UPS). Как отме-

чалось вьппе, сбой в системе, в частности внезапное отключение питания, мо-

жет привести к потере данных. Для защиты файлового сервера от скачков на-

пряжения в электросети используют специальные устройства бесперебойного

питания UPS (Unterruptible Power Supply) (рис.

8.42).

С TTS

Без TTS

Операции, выполняемые с системной базой данных сетевых ресурсов

С-с С-с

В-Ь В-Ь

А-а А-а

Сбой

Состояние СБДСР после восстановления системы

А А

В В-Ь

С С-с

Рис.

8.41.

Работа системы

с TTS

(а)

и без TTS

(б)

503

Архитектура сетевых

ОС

NetWare

NLM-модуль

Порт

UPS

—.__

220 В

Шина управления

Рис. 8.42. Взаимодействие файлового сервера

устройством

бесперебойного питания

Предположим, что входное напряжение электросети упало ниже некоторого

порога. В этом случае UPS подает напряжение на вход файлового сервера от

своей внутренней батареи. Время, в течение которого батарея разряжается и

поддерживает требуемое напряжение на файловом сервере, зависит от типа

UPS и для простого устройства (например BACK-UPS) составляет 5...7 мин.

Одновременно UPS передает сигнал на порт файлового сервера по шине уп-

равления. Этот сигнал вырабатывает прерывание, которое обрабатывает спе-

циальный NLM-модуль, который переходит в состояние ожидания на время,

которое было указано при запуске этого модуля (как правило, оно равно време-

ни работы батареи). Если в течение этого времени ожидания напряжение элек-

тросети не восстанавливается, то после активизации NLM-модуль вьшолняет

команду DOWN. При этом сервер нормально завершает работу: все «гряз-

ные» блоки кэш-памяти перезаписываются на диск, все открытые файлы зак-

рываются и пользователи оповещаются об останове файлового сервера. Если

за время ожидания напряжение электросети восстанавливается, то по шине

управления на порт файлового сервера поступает сигнал, который завершает

выполнение NLM-модуля, связанного с этим портом. Далее работа сервера

продолжается в прежнем режиме.

Существуют различные средства поддержки UPS-мониторинга файлового

сервера NetWare. В продукт PowerChute Plus v.4.0.1 for NetWare включены

средства (NLM-модули, кабели управления и т.д.), позволяющие обеспечить

UPS-мониторинг через СОМ-порт. В состав NetWare входит модуль UPS.NLM,

поддерживающий UPS-мониторинг через один из портов:

• DCB- или ИВА-адаптера,

• специальной карты UPS MONITOIUNG BOARD.

Третий уровень надежности SFT-III

Третий уровень надежности SFT-III обеспечивается использованием ОС

NetWare SFT III v.3.x, 4.x, 5.x. Эта ОС управляет работой двух файловых сер-

веров.

Один из них функционирует в режиме «горячего» резервирования

(рис.

8.43).

504

8.5.

Обеспечение надежности

Основной сервер

MSL (Mirrored Server Link)

Резервный сервер

у 1

Шина

Рис.

8.43. Зеркальное отражение файловых серверов

В режиме нормального функционирования основной сервер принимает и об-

рабатывает кадры, передаваемые по шине. При этом по специальному кабелю

MSL (его длина

не

превьппает

км)

на

резервный сервер передаются

все из-

менения, связанные

внешней

основной памятью. Резервный сервер посы-

лает также

по

кабелю MSL специальные сообщения

целью определения со-

стояния основного сервера: работоспособен

он или нет. Эти

сообщения

передаются несколько

раз в

секунду.

Когда резервный сервер обнаружит,

что

основной сервер

не

работоспосо-

бен (например, в результате «зависания»), то он начинает принимать

обраба-

тывать кадры, передаваемые

по

шине. Основной сервер можно отремонтиро-

вать

или

заменить

на

новый.

Как

только резервный сервер обнаружит,

что

основной сервер перешел

работоспособное состояние,

то он

активизирует

процесс выравнивания внешней и основной памяти

этого

главного сервера. После

этого основной сервер возобновляет обработку кадров сети,

второй сервер

переходит

состояние «горячего» резервирования.

Поддержка дисковых массивов RAID

Когда объем внешней памяти файлового сервера приближается

10 Гб,

то

использование традиционных способов обеспече1шя надежного хранеьшя дан-

ных (см. SFT

II)

становится проблематичным.

настоящее время для надеж-

ного хранения больших объемов данных (порядка 10

более Гб) используют

дисковые массивы RAID (Redundant Array

Independent Disks), которые

представляют собой специальные устройства, подключаемые

файловому

серверу

по

SCSI-интерфейсу.

Как

правило,

корпусе устройства RAID

ус-

танавливают более

дисков (рис. 8.44). Объем каждого диска зависит

от

типа устройства

колеблется

от 1 до 4 Гб.

Существует несколько систем

RAID:

Digital Storage Works

RATO

Array

210,

HP Disk System, Micropolis RATOion

LTX, Storage Dimensions SuperFlex

др.

Все они

поставляются

требуемым

Диалоговый массив RAID

Контроллер RAID

Drive

HOST-

адаптер

Рис.

8.44.

Дисковый массив

RAID

505

Архитектура сетевых

ОС

NetWare

1 КАШ Level

Sector

Byte

Sector 2 Byte

Sector 20 Byte

Drive

1 Drive 2 | Drive 3 | Drive 4 | Drive 5

Sector

Sector 1

Sector 2 Sector 2

Sector 20 Sector 20

1,5, ...,509 2,6, ...,510 3,7, ...,511 4,8,..., 512 Parity

1,5,...,

509 2,6, ...,510 3,7, ...,511 4,8, ...,512 Parity

1,5, ...,509 2,6,..., 510 3,7, ...,511 4,8, ...,512 Parity

Sector

Sector 2 Sector 3 Sector 4 Parity

Sector 5 Sector 6 Sector 7 Sector 8 Parity

Sector 9 Sector 10 Sector 11 Sector 12 Parity

Sector 13 Sector 14 Sector 15 Sector 16 Parity

Sector 17 Sector 18 Sector 19 Sector 20 Parity

Sector

Sector 2 Sector 3 Sector 4 Parity

Sector 5 Sector 6 Sector 7 Parity Sector 8

Sector 9 Sector 10 Parity Sector 11 Sector 12

Sector 13 Parity Sector 14 Sector 15 Sector 16

Parity Sector 17 Sector 18 Sector 19 Sector 20

Рис.

8.45.

Уровни

RAID

набором NLM-модулей и поэтому поддерживаются NetWare. Дисковый мас-

сив настраивается на определенный уровень КАШ (рис. 8.45). Разработаны

стандарты на уровни 0-5. Другие уровни RAID (6, 7, 10), используемые в

дисковых массивах, не стандартизованы и представляют собой комбинации

или модификации уровней

-5.

Рассмотрим уровни RAID подробнее. На рис. 8.45 для соответствующих

уровней RAID представлены схемы размещения 20 секторов (блоков) какого-

либо файла.

Уровень 0. Данные размещаются на нескольких дисках, воспринимаемых

компьютером как одно устройство хранения информации большой емкости.

Возможно одновременное проведение нескольких операций чтения или записи

на разных дисках.

При отказе одного диска данные не восстанавливаются и вся система вы-

ходит из строя.

Уровень 1 (см. рис. 8.45). Зеркальное отражение дисков. Дублирование

данных обеспечивает высокую отказоустойчивость. Эта схема хранения дан-

ных не экономична, так как для каждого диска с данными требуется резерв-

ный диск.

Уровень 2. Поочередное размещение битов по дискам. Используется очень

редко из-за сложности корректировки ошибок.

Уровень 3 (см. рис. 8.45). Байты сектора поочередно размещаются на не-

скольких дисках. Сектор как-бы «размазывается» по четьфем дискам. Один

диск отводится для хранения контрольной информации.

Если часть сектора не читается с какого-либо диска, то система читает все

остальные части сектора и контрольную информацию Parity для

этого

сектора, а

затем используя эти данные, восстанавливает недостающую часть сектора.

506

8.5. Обеспечение

надежности

В операциях чтения и записи сектора участвуют все диски массива, поэто-

му невозможно параллельное вьшолнение нескольких операций.

Уровень 4 (см. рис.

8.45).

Секторы данных поочередно размещаются на

нескольких дисках. Один диск отводится для хранения контрольной информа-

ции.

Если, например, не читается сектор 2, то система читает секторы 1, 3, 4,

контрольную информацию Parity для этих секторов, а

затем,

используя эти дан-

ные,

восстанавливает сектор 2. Возможно параллельное чтение секторов, рас-

положенных на разных дисках.

При записи данных на диск обновляется и контрольная информация. Так как

эта информация располагается на одном диске, то невозможно параллельное

вьшолнение операций чтения и обновления контрольных данных.

Уровень 5 (см. рис.

8.45).

Секторы данных, а также контрольная информа-

ция поочередно размещаются на нескольких дисках. Этот уровень хранения

данных используется наиболее часто.

Если, например, не читается сектор 2, то система КАШ читает секторы 1,

3,4, контрольную информацию для этих секторов и, используя эти данные, вос-

станавливает сектор 2.

Возможно параллельное чтение и запись секторов, расположенных на раз-

ных дисках. Например, при записи секторов 3 и 6 эти операции могут вьшол-

няться параллельно, так как эти секторы и их контрольная информация распо-

лагаются на разных дисках.

Поддержка многопроцессорности

Известно, что суперсерверы (многопроцессорные компьютеры) поддержи-

вают два режима функцио1шрования:

симметричную многопроцессорную обработку (SMP - Symmetric Multi-

Processing),

асимметричную многопроцессорную обработку (ASMP - ASymmetric

Multiprocessing).

В настоящее время SMP-режим работы суперсервера обеспечивают сете-

вые ОС Mndows NT, UNIX. ОС NetWare 4.1 SMP также поддерживает SMP-

режим. Из всего семейства ОС NetWare только NetWare SFT

П1,

использую-

щая зеркальное отображение серверов, поддерживает режим ASMP: в

двухпроцессорном сервере первый процессор занимается предоставлением

услуг, а второй - операциями ввода/вывода.

Обычно применение NetWare SFT Ш вызьгоает снижение производительно-

сти до 30 % однопроцессорного сервера, но использование двухпроцессорной

конфигурации позволяет серверу SFT Ш достичь 90 % производительности

обычного сервера NetWare с сохранением всех преимуществ зеркального от-

ражения серверов.

Для повышения производительности сетевых ОС используется распреде-

ленная параллельная обработка - DPP (Distnbuted Parallel Processing), состоя-

щая из трех этапов.

507

Архитектура сетевых

ОС NetWare

Нить, связанная

с ISADISK.DSK

ПР!

оп

Нить, связанная

CNE2000.LAN

ПР2

ISADISK.DSK

NE2000.LAN

Новая нить, 1

связанная i

, CISADISK.DSKJ

ПРЗ

Рис.

8.46. Организация выполнения

нитей по

SMP-технологии

Реализация на серверах NetWare технологии SMP. Для технологии

SMP (NetWare 4.1 SMP) характерны следующие особенности (рис. 8.46):

• все процессоры имеют общее поле основной памяти;

• если возможно, то новой нити предоставляется свободный процессор.

Предположим, что по запросу от PC образуется новая нить, связанная с

драйвером жесткого диска ISADISK.DSK, и если процессор ПРЗ свободен, то

она будет вьшолняться на этом процессоре.

NetWare 5.x имеет мультипроцессорное ядро SMP с защитой памяти и

вытесняющей многозадачностью. В процессе инсталляции система читает из

BIOS

таблицу конфигурации процессоров и включает в конфигурационный файл

STARTUP.NCF требуемые модули Platform Support Modules (PSM), имеющие

расширение *.PSM. В этот же файл помещается команда SET Auto Start

Processors = ON, позволяющая при старте системы автоматически активизи-

ровать вторичные процессоры сервера. Первичный процессор (processor 0) -

это процессор, на котором вьшолняется управляющая программа

NetWare.

При

запуске процесса (по команде LOAD) система определяет наименее загру-

женный процессор и ставит процесс к нему в очередь. Если в дальнейшем

окажется, что процессор перегружен, то NetWare автоматически перераспре-

делит часть вьшолняющихся на нем процессов (нитей) на менее загруженный

процессор.

Дальнейшее расширение доменной архитектуры (см. § 8.1). В Net

Ware 5.x используется доменная защита, но, в отличие от NetWare 4.1, число

доменов не ограничено.

Поддержка технологии ASMP и групп серверов. Для технологии

ASMP характерны следующие особенности (рис. 8.47):

• с каждым процессором связана своя область основной памяти;

• каждый NLM-модуль загружается в одну основную память какого-нибудь

процессора, т. е. NLM-модуль закрепляется за процессором.

508

8.5. Обеспечение надежности

Запрос 2

Запрос 1

ПР!

ОП

IPC

NE2000.LAN

Область 1, выделенная

КЕ2000.ЬАМдля

запроса 1

Область 2, выделенная

КЕ2000.ЬАКдля

запроса 2

ПР2

ОП

ISADISK.DSK

Область 3, выделенная

ISADISK.DSK для

запроса 1

Рис.

8.47. Организация выполнения

запросов по

ASMP-технологии

Рассмотрим пример. Предположим, что модуль NE2000.LAN закреплен за

процессором ПР1, а модуль ISADISK.DSK - за процессором ПР2. Запрос 1,

поступающий с PC, сначала обрабатывается NLM-модулем NE2000.LAN, ко-

торый при обработке этого запроса выделяет область 1 в основной памяти

процессора ПР1. Затем запрос 1 обрабатывается драйвером жесткого диска

ISADISK.DSK, который выполняется на другом процессоре ПР2. NLM-MO-

дуль ISADISK.DSK обращается к области

памяти процессора

ПР1,

посылая

запросы через межпроцессорную линию связи

IPC

(Inter- Processor Communica-

tions).

В данном примере процессоры

ПР1

и ПР2 образуют своеобразный кон-

вейер, используемый для обработки запросов от рабочих станций.

Ключевым элементом технологии ASMP фирмы Novell является менеджер

блокировок Lock Manager. Это программное обеспечение, разработанное ком-

панией NetFRAME Systems на основе технологии корпорации

Oracle,

позволяет

множеству процессоров совместно работать над одним запросом. Менеджер

блокировок координирует запросы IPC и контролирует доступ к данным так,

чтобы блок данных одновременно обновлялся не более чем одним процессо-

ром.

Помимо поддержки ASMP на этом этапе происходит распространение до-

менной архитектуры за пределы единичного сервера. В один домен будут вхо-

дить процессоры нескольких серверов. Это достигается благодаря использо-

ванию распределенной файловой системы, которая позволяет серверам сети

обмениваться запросами и ответами.

Группа серверов, будь они однопроцессорные или многопроцессорные, мо-

жет работать как одна система и собирать воедино свои свободные ресурсы.

Эти кластеры серверов могут использовать высокоскоростные линии связи,

чтобы передать задание незагруженным процессорам домена. В каком-то

смысле эти серверы образуют из процессоров сети виртуальный процессор.

509