Кагиров Р.Р. Лекции по Организации ЭВМ
Подождите немного. Документ загружается.
Множество канальных путей всех LCSS накладывается на множество
физических канальных путей. Каждый физический канальный путь имеет
уникальный идентификатор (Physical Channel ID - PCHID), соответствующий
физическому интерфейсу и элементам его конструктивного исполнения:
каркасу ввода-вывода, слоту, порту. Для идентификаторов CHPID
устанавливается соответствие идентификаторам PCHID, поддерживаемое на
уровне hypervisor.
Каждой LCSS соответствует группа физических каналов, принадлежащих
только этой LCSS, кроме объединенных каналов (Spanning Channel).
Объединенные каналы могут использоваться логическими разделами разных
LCSS. Канальный путь считается объединенным, если один и тот же
физический канальный путь PCHID соответствует канальным путям CHPID в
разных LCSS. Это позволяет задействовать один физический канальный путь
более чем 15 разделами LPAR и делает его доступным из многих LCSS.
В случае объединения внутренних каналов вместо физического канала может
применяться виртуальный канал (Virtual Channel) с идентификатором VCHID.
Такие каналы реализованы на уровне милликодов и позволяют реализовать
обмен между логическими разделами без использования физических каналов.
271
Структурная организация серверов zSeries
Структурная организация серверов zSeries основана на использовании
вычислительных узлов с SMP-архитектурой. Такой узел включает P
процессоров PU 0 ÷ PU P-1, симметрично подключенных к памяти через
двухуровневую КЭШ (L1, L2). КЭШ первого уровня L1 реализует стандарт
сквозной записи и состоит из P блоков, каждый из которых используется
локально одним процессором. КЭШ второго уровня L2 построена по стандарту
с обратной записью и в зависимости от модели сервера может быть разбита на
L блоков, используемых группами по P/L процессоров. Кроме этого на втором
уровне КЭШ поддерживается протокол выравнивания содержимого блоков
КЭШ обоих уровней.
Внутренняя или процессорная память системы состоит из М блоков - карт
памяти, включающих контроллеры управления обращениями и защиты
информации. В состав памяти включены два уровня адресных пространств:
основное адресное пространство, доступное для большинства команд с
272
адресацией памяти, и адресное пространство расширенной памяти, доступное
для нескольких специальных команд.
Подсистема ввода-вывода включает канальные пути на базе интерфейсов
различных типов для подключения периферийных устройств и межсистемного
обмена. Для управления канальными путями используются канальные
процессоры. Подключение периферийных устройств к интерфейсам
выполняется через индивидуальные и групповые контроллеры CU.
Для обмена информацией между памятью и подсистемой ввода-вывода
используется блок сопряжения, включающий B адаптеров памяти MBA
(Memory Bus Adapter), подключенных к КЭШ L2.
Блок системного контроля SC подключен ко всем блокам узла для управления
их согласованной работой.
Сервер zSeries в общем случае может включать R узлов. Для объединения узлов
в кластер используются многоразрядные шины обмена информацией и
управления, подключаемые к устройствам буферизации, коммутации и
управления (блоки L2, SC, MBA). При этом память всех узлов объединяется в
общее адресное пространство, доступное всем процессорам кластера, и в КЭШ
L1, L2 всех узлов поддерживается когерентность содержимого. Такой кластер
может рассматриваться как RxP-процессорный SMP-узел и использоваться для
построения кластеров следующего, более высокого, уровня.
Различные модели и генерации серверов отличаются качественными и
количественными характеристиками компонентов объединяемых узлов.
273
Модели, состоящие из одного узла (R=1), использовались в архитектурах,
предшествующих z/Architecture, и назывались односторонними (singleside)
серверами. В зависимости от числа используемых процессоров модели
определялись как uniprocessor models (P=1), dyadic processor models (P=2) и т.д.
Наибольшее распространение, в том числе и в z/Architecture (z900), получили
модели с бинодальной структурой при R=2. Такие модели, как и модели с R>2,
принято называть N-way серверами, где N= R×P - суммарное число
процессоров всех объединяемых узлов. В последних моделях z/Architecture
(z990, z890) число используемых узлов может меняться от 1 до 4 R=1÷4. В
таблице 2.32 приведены основные параметры моделей серверов z/Architecture.
Структурная организация сервера zSeries z/900 приведена на рис.. Основу
сервера составляют два узла, образующие бинодальную симметричную
структуру, реализованную в одном многочиповом модуле MCM (Multi Chip
Module). Модуль MCM подключен к четырем картам памяти через
контроллеры памяти MSC (Memory Storage Controller), а также к подсистеме
ввода-вывода через самосинхронизирующиеся интерфейсы STI (Self-Timed
Interface).
В состав сервера входят 20 процессоров (PU), каждый из которых реализован в
отдельном чипе вместе с КЭШ первого уровня L1 емкостью 512 KB. Группа из
10 процессоров, объединенных в одном узле, подключается к отдельному
фрагменту КЭШ второго уровня L2 на базе четырех модулей (чипов) SD.
Каждый из процессоров подключен к модулям КЭШ L2 с использованием
двунаправленной 16-байтной шины. Один модуль КЭШ L2 имеет объем 4 MB,
274
что обеспечивает суммарный объем КЭШ второго уровня 16MB на узел или
32MB на весь модуль MCM. КЭШ L2 каждого из узлов доступна для
процессоров другого узла, для чего каждая пара модулей SD одного узла
соединена двумя 8-байтными шинами обмена с аналогичной парой модулей SD
другого узла.
Для аппаратной поддержки криптографических операций используются два
сопроцессора Crypto0, Crypto1 (по одному на каждый узел), соединенные 4-
байтными двунаправленными шинами с двумя процессорам разных узлов.
Такое подключение увеличивает надежность их функционирования.
Дополнительные криптографические сопроцессоры (до 16) могут быть
подключены через систему ввода-вывода.
Память сервера реализована на четырех картах card 0 ÷ card 3, каждая из
которых имеет собственный контроллер памяти MSC (Memory Storage
Controller). Для связи памяти с модулем MCM контроллер MSC подключен к
одной из пар модулей КЭШ L2 двумя 8-байтными двунаправленными шинами.
275
276
Обмен информацией между памятью и подсистемой ввода-вывода выполняется
через КЭШ L2, для чего в модуле MCM используются четыре адаптера памяти
MBA по два на каждый из узлов. Адаптер MBA подключается к модулям КЭШ
L2 посредством 8-байтных двунаправленных шин, а к подсистеме ввода-вывода
- через самосинхронизирующийся интерфейс STI (Self-Timed Interface).
Каждый такой интерфейс функционирует на скорости 1GB/s, что обеспечивает
в дуплексном режиме работы суммарную пропускную способность 2GB/s. В
подсистеме ввода-вывода STI-интерфейсы соединяются с каскадированными
мультиплексорами-демультиплексорами (M/D) для выхода на вторичные
(secondary) интерфейсы с меньшей пропускной способностью (333 МВ/s, 500
МВ/s). Вторичные интерфейсы подключаются к картам ввода-вывода (I/O card),
обеспечивающим требуемую пропускную способность и управление для
типовых каналов ввода-вывода, таких как ESCON, FICON и др. Для связи
периферийных устройств D с типовыми интерфейсами используются
контроллеры CU, а также коммутаторы (Director, Switch), необходимые для
создания различных путей доступа к устройствам.
Блок системного контроля SC предназначен для управления согласованной
работой всех блоков узла и подключен посредством управляющих сигналов ко
всем блокам узла (процессоры, КЭШ L2, MBA) и блоку SC соседнего узла.
Блок SC реализован на одном чипе с большим числом выводов (более 1600).
Для взаимной синхронизации всех устройств в модуле MCM используется
отдельный блок синхронизации CLK.
Структурная организация сервера zSeries z990 приведена на рис.. Основу
сервера составляют от одного до четырех узлов, называемых книгами (book) и
соединенных между собой замкнутыми кольцевыми шинами для взаимного
доступа к ресурсам каждого из узлов. Для подключения в кольцевую структуру
в узле предусмотрены два порта, каждый из которых имеет входную и
выходную шины, что позволяет создать две кольцевых шины с
противоположными направлениями обмена. При отсутствии одного из узлов,
например при замене, в соединенных с ним соседних узлах две кольцевых
шины объединяются, образуя одно кольцо для обмена информацией.
Отсутствующий на постоянной основе узел может быть заменен заглушкой,
обеспечивающей трансляцию сигналов с сохранением двух кольцевых шин.
Такая структура связей между узлами обеспечивает повышенную надежность и
упрощает процедуры модернизации и ремонта "на лету".
277
278