Панков С.В. Лекции по системному анализу

Подождите немного. Документ загружается.

MPI_SHORT signed short int

MPI_INT signed int

MPI_LONG signed long int

MPI_UNSIGNED_CHAR unsigned char

MPI_UNSIGNED_SHORT unsigned short int

MPI_UNSIGNED unsigned int

MPI_UNSIGNED_LONG unsigned long int

MPI_FLOAT float

MPI_DOUBLE double

MPI_LONG_DOUBLE long double

Другие предопределенные типы

MPI_Status - структура; атрибуты сообщений; содержит три обязательных поля:

 MPI_Source (номер процесса отправителя)

 MPI_Tag (идентификатор сообщения)

 MPI_Error (код ошибки)

MPI_Request - системный тип; идентификатор операции посылки-приема сообщения

MPI_Comm - системный тип; идентификатор группы (коммуникатора)

 MPI_COMM_WORLD - зарезервированный идентификатор группы, состоящей их

всех процессов приложения

Константы-пустышки

 MPI_COMM_NULL

 MPI_DATATYPE_NULL

 MPI_REQUEST_NULL

Константа неопределенного значения

 MPI_UNDEFINED

Глобальные операции

MPI_MAX

MPI_MIN

MPI_SUM

MPI_PROD

Любой процесс/идентификатор

MPI_ANY_SOURCE

MPI_ANY_TAG

Код успешного завершения процедуры

MPI_SUCCESS

3. АРХИТЕКТУРА ЭВМ ДЛЯ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛЕНИЙ

Архитектура компьютера - это описание компонент компьютера и их взаимодействия.

Организация компьютера - это описание конкретной реализации архитектуры, ее

воплощения "в железе".

3.1 Классификация Флинна

По Флинну принято классифицировать все возможные архитектуры компьютеров на

четыре категории:

1. SISD (Single Instruction Stream - Single Data Stream) - один поток команд и один

поток данных;

2. SIMD (Single Instruction Stream - Multiple Data Stream) - один поток команд и

множество потоков данных;

3. MISD (Multiple Instruction Stream - Single Data Stream) - множество потоков команд

и один поток данных;

4. MIMD (Multiple Instruction Stream - Multiple Data Stream) - множество потоков

команд и множество потоков данных.

Рассмотрим эту классификацию более подробно.

3.1.1 SISD компьютеры

SISD компьютеры это обычные, "традиционные" последовательные компьютеры, в

которых в каждый момент времени выполняется лишь одна операция над одним

элементом данных.

3.1.2 SIMD компьютеры

SIMD компьютеры состоят из одного командного процессора (управляющего модуля),

называемого контроллером, и нескольких модулей обработки данных, называемых

процессорными элементами. Управляющий модуль принимает, анализирует и выполняет

команды. Если в команде встречаются данные, контроллер рассылает на все процессорные

элементы команду, и эта команда выполняется на нескольких или на всех процессорных

элементах. Каждый процессорный элемент имеет свою собственную память для хранения

данных. В SIMD компьютере управление выполняется контроллером, а "арифметика"

отдана процессорным элементам.

3.1.3 MISD компьютеры

Один из немногих примеров MISD компьютеры - систолический массив процессоров, в

котором процессоры находятся в узлах регулярной решетки, роль ребер которой играют

межпроцессорные соединения. Все процессорные элементы управляются общим тактовым

генератором. В каждом цикле работы каждый процессорный элемент получает данные от

своих соседей, выполняет одну команду и передает результат соседям.

3.1.4 MIMD компьютеры

MIMD компьютеры представляют собой комбинацию компьютеров предыдущих трёх

типов, объединённых некоторой топологией связей. В единую вычислительную систему.

Например, кластеры рабочих станций и т.д.

3.2 Основные концепции архитектуры высокопроизводительных вычислительных

систем.

В этом разделе мы рассмотрим такие важнейшие концепции организации

высокопроизводительных вычислительных систем, как векторная обработка данных,

конвейеры, методы и типы межпроцессорных коммуникаций, организация оперативной

памяти.

2.2.1 Конвейер

Для эффективной реализации конвейера должны выполняться следующие условия:

 система выполняет повторяющуюся операцию;

 эта операция может быть разделена на независимые подоперации;

 трудоемкость подопераций примерно одинакова.

Количество подопераций называют глубиной конвейера. Увеличение быстродействия,

которое можно получить с помощью конвейера приблизительно дается следующей

формулой:

n×d/(n+d)

где n - количество операндов, загружаемых в конвейер, d - глубина конвейера.

Пример 3.1.

Пусть требуется выполнить операцию сложения над двумя одномерными массивами по

200 элементов, причем выполнение сложения требует пять операций. В этом случае

ускорение составит (200*5)/(200+5)=4.88. 

3.2.2 Суперскалярные процессоры

В отличие от последовательного (скалярного), он может выполнять несколько операций за

один такт. Основными его компонентами являются устройства для интерпретации команд,

снабженные логикой, позволяющей определить, являются ли команды независимыми, и

достаточное число исполняющих устройств.

Суперскалярный процессор не требует специальных векторизующих компиляторов.

3.2.3 Векторная обработка данных

Векторный процессор может обрабатывать сразу массив (вектор) значений. Пусть A1, A2

и P - это три массива, имеющие одинаковую размерность и одинаковую длину, и имеется

оператор

P=A1+A2

Векторный процессор за один цикл выполнения команды выполнит попарное сложение

элементов массивов A1 и A2 и присвоит полученные значения соответствующим

элементам массива P. Каждый операнд при этом хранится в особом, векторном регистре.

Векторные компьютеры различаются способом передачи операндов командам процессора.

Можно выделить следующие основные схемы:

 из памяти в память - в этом случае операнды извлекаются из оперативной

памяти, загружаются в арифметическое устройство и результат возвращается в

оперативную память;

 из регистра в регистр - операнды вначале загружаются в векторные регистры,

затем операнд передается в арифметическое устройство и результат

возвращается в один из векторных регистров.

Векторные компьютеры, работающие по схеме из регистра в регистр, в настоящее время

доминируют на рынке векторных компьютеров и наиболее известными представителями

являются машины семейства Cray, NEC, Fujitsu и Hitachi.

Например, в Cray-1 процессор имеет 8 векторных регистров, каждый из которых может

хранить 64 слова по 64 бита каждое. Всего компьютер Cray-1 содержал до 12

конвейеризованных процессоров, имевших отдельные конвейеры для различных

арифметических и логических операций. Скорость работы процессора строго согласована

со скоростью работы оперативной памяти.

3.2.4. Оперативная память

Принята следующая классификация параллельных компьютеров по архитектуре

подсистем оперативной памяти:

 системы с разделяемой памятью, у которых имеется одна большая

виртуальная память и все процессоры имеют одинаковый доступ к данным и

командам, хранящимся в этой памяти;

 системы с распределенной памятью, у которых каждый процессор имеет свою

локальную оперативную память к этой памяти у других процессоров нет

доступа.

Различие между разделяемой и распределенной памятью заключается в способе

интерпретации адреса. Это различие проще пояснить на следующем примере. Пусть один

из процессоров выполняет команду вида load r1, i - "загрузить в регистр r1 данные из

ячейки памяти i". Если команда выполняется на компьютере с разделяемой памятью,

номер ячейки i имеет одинаковый смысл для всех процессоров, i является глобальным

адресом. В случае системы с распределенной памятью, ячейка i разная для разных

процессоров и в регистры r1 по этой команде будут загружены разные значения.

3.2.4.1 Чередуемая память

Чередуемая память разделяется на банки памяти. Принято соглашение о том, что ячейка

памяти с номером i находится в банке памяти с номером i mod n, где n - количество

банков памяти. Таким образом, если имеется 8 банков памяти, то первому банку памяти

будут принадлежать ячейки памяти с номерами 0, 8, 16, :, второму - 1, 9, 17, ... и т.д.

Запросы к различным банкам памяти могут обрабатываться одновременно.

При достаточном количестве банков памяти скорость обмена данными между

памятью и процессором может быть близка к идеальному значению - одно машинное

слово за один такт работы процессора.

Ячейки памяти могут быть перенумерованы и непрерывным образом, то есть, скажем, в

первом банке находятся ячейки с номерами от 0 до 255, во втором от 256 до 511 и т.д. В

векторных компьютерах обычно используется первый способ адресации, а в

многопроцессорных комплексах с разделяемой памятью - второй.

3.2.4.2 Разделяемая память

Простейший способ создать многопроцессорный вычислительный комплекс с

разделяемой памятью - взять несколько процессоров, соединить их с общей шиной и

соединить эту шину с оперативной памятью. Этот простой способ является не очень

удачным, поскольку между процессорами возникает борьба за доступ к шине и если один

процессор принимает команду или передает данные, все остальные процессоры

вынуждены будут перейти в режим ожидания. Это приводит к тому, что начиная с

некоторого числа процессоров, быстродействие такой системы перестанет увеличиваться

при добавлении нового процессора.

Несколько улучшить картину может применение кэш-памяти для хранения команд. При

наличии локальной, то есть принадлежащей данному процессору кэш-памяти, следующая

необходимая ему команда с большой вероятностью будет находиться в кэш-памяти. В

результате этого уменьшается количество обращений к шине и быстродействие системы

возрастает.

Имеются и другие реализации разделяемой памяти. Это, например, разделяемая память с

дискретными модулями памяти. Физическая память состоит из нескольких модулей, хотя

виртуальное адресное пространство остается общим. Вместо общей шины в этом случае

используется переключатель, направляющий запросы от процессора к памяти. Такой

переключатель может одновременно обрабатывать несколько запросов к памяти, поэтому

если все процессоры обращаются к разным модулям памяти, быстродействие возрастает.

Одним из примеров успешно работающих вычислительных систем с разделяемой

памятью является компьютер KSR-1 фирмы Kendall Square Research.

3.2.4.3. Распределенная память

В вычислительных системах с распределенной памятью оперативная память имеется у

каждого процессора. Процессор имеет доступ только к своей памяти. В этом случае

отпадает необходимость в шине или переключателе. Нет и конфликтов по доступу к

памяти, так как каждый процессор работает только со своей собственной памятью.

Нет присущих системам с разделяемой памятью ограничений на число процессоров, нет,

разумеется, и проблемы с кэшкогерентностью.

Но, с другой стороны, возникают проблемы с организацией обмена данными между

процессорами. Обычно такой обмен осуществляется при помощи обмена

сообщениямипосылками, содержащими данные. Для формирования такой посылки

требуется время, для получения и считывания полученных данных тоже требуется

определенное время. Эти дополнительные затраты времени - плата за все те

преимущества, о которых шла речь.

Программирование для систем с распределенной памятью - более сложная задача. Оно

требует разбиения исходной вычислительной задачи на подзадачи, выполнение которых

может быть разнесено на разные процессоры.

Одним из наиболее известных компьютеров такого типа является вычислительная система

CM-5 фирмы Thinking Machines. Она состоит из процессорных элементов, построенных на

основе микропроцессора SPARC и соединенных сетью со специальной топологией типа

"дерево". У каждого процессорного элемента имеется локальная память объемом 32

мегабайта. Пропускная способность шины больше у корня дерева и меньше у ее ветвей.

3.2.5. Связь между элементами параллельных вычислительных систем

Важнейшим элементом архитектуры любого компьютера, а высокопроизводительных

вычислительных систем в особенности, являются средства обмена данными между

процессором и оперативной памятью, процессором и другим процессором, процессором и

другими устройствами и т.д.

Организация внутренних коммуникаций вычислительной системы называется ее

топологией. Далее речь идет о многопроцессорных компьютерах, которые в данном

контексте принято рассматривать как набор узлов (процессорных элементов, модулей

памяти, переключателей) и соединений между узлами.

Приведем несколько определений.

Два узла называются соседними, если между ними имеется прямое соединение. Порядком

узла называется количество его соседей. Диаметром сети (а речь идет, фактически, о

локальных сетях) называется максимальный путь между любыми двумя узлами.

Масштабируемость характеризует возрастание сложности соединений при добавлении в

конфигурацию новых узлов. Если система обладает высокой степенью

масштабируемости, ее сложность будет незначительно изменяться при наращивании

системы, неизменным будет и диаметр сети.

Приведем примеры топологий, которые применяются в параллельных вычислительных

системах. Распространенной является хорошо масштабируемая топология "гиперкуб":

1-мерный гиперкуб

2-мерный гиперкуб

3-мерный гиперкуб

Для адресации узлов в гиперкубе каждому узлу присваивается свой идентификационный

номер, при этом двоичные представления идентификационных номеров соседних узлов

отличаются одним битом. Алгоритм пересылки сообщения от одного узла к другому в

этом случае достаточно простой и основан на побитовом сравнении двоичных

представлений идентификационных номеров текущего узла и адресата.

Другим примером топологии является двумерная решетка. Это обычная квадратная

решетка с граничными соединениями разного рода:

Плоская решетка

Более сложный тип коммуникации дается многоступенчатыми соединениями. В этом

случае на одном конце соединения находятся процессоры, а на другом процессоры или

другие узлы. В середине располагаются переключатели. При передаче данных от узла к

узлу переключатели устанавливаются таким образом, чтобы обеспечить требуемое

соединение.

Очевидно, для этого требуется некоторое время - "время установки". Примерами

многоступенчатых соединений являются соединения "бабочка" и "омега". Эти

соединения формируются из переключателей, имеющих 2 входа и 2 выхода. Входы и

выходы коммутируются. Количество переключателей, необходимое для нормальной

работы сети с n входами и n выходами O(n log2n).

Соединение "бабочка"

Более устойчивую и эффективную работу обеспечивает перекрестное соединение.

Переключатели динамически конфигурируются так, чтобы обеспечить требуемое

соединение. Масштабируемость такого соединения не очень хорошая, так как добавление

нового узла требует включения дополнительно 2n-1 переключателей.

Перекрестное соединение

Важнейшими атрибутами системы коммуникаций являются стратегии управления,

переключения и синхронизации. Что касается управления, то здесь можно выделить две

альтернативы: централизованное управление единым контроллером (модулем управления)

и распределенное управление. Примерами распределенного управления являются работа

многоступенчатых соединений, где каждый узел принимает решение, как поступить с

поступившим сообщением - оставить его себе или передать соседу. Другой вариант

используется, например, в соединениях типа "звезда", где каждое сообщение

пересылается в контроллер, который определяет его дальнейшую судьбу.

Синхронизация тоже может быть глобальной, когда синхронизующая последовательность

импульсов передается всем узлам вычислительной системы, но может быть и локальной,

когда каждый узел имеет свой собственный генератор. Последний вариант называется

асинхронной работой. Преимущество глобальной синхронизации, характерной для SIMD

машин заключается в более простой аппаратной и программной реализации, а

асинхронные системы, чаще всего это MIMD-компьютеры - более гибкие.

3.3. Архитектура векторно-конвейерных супер-ЭВМ CRAY C90

Общая структура компьютера CRAY -MP C90

CRAY -MP C90 - это векторно-конвейерный компьютер, объединяющий в максимальной

конфигурации 16 процессоров, работающих над общей памятью. Время такта компьютера

CRAY Y-MP C90 равно 4.1 нс, что соответствует тактовой частоте почти 250MHz.

Разделяемые ресурсы процессора

Структура оперативной памяти.

Оперативная память этого компьютера разделяется всеми процессорами и секцией

ввода/вывода. Каждое слово состоит из 80-ти разрядов: 64 для хранения данных и 16 для

коррекции ошибок. Для увеличения скорости выборки данных память разделена на

множество банков, которые могут работать одновременно.

Каждый процессор имеет доступ к ОП через четыре порта с пропускной способностью два

слова за один такт каждый, причем один из портов всегда связан с секций ввода/вывода и

по крайней мере один из портов всегда выделен под операцию записи.

В максимальной конфигурации вся память разделена на 8 секций, каждая секция на 8

подсекций, каждая подсекция на 16 банков. Адреса идут с чередованием по каждому из

данных параметров:

адрес 0 - в 0-й секции, 0-подсекции, 0-м банке,

адрес 1 - в 1-й секции, 0-подсекции, 0-м банке,

адрес 2 - в 2-й секции, 0-подсекции, 0-м банке,

...

адрес 8 - в 0-й секции, 1-подсекции, 0-м банке,

адрес 9 - в 1-й секции, 1-подсекции, 0-м банке,

...

адрес 63 - в 7-й секции, 7-подсекции, 0-м банке,

адрес 64 - в 0-й секции, 0-подсекции, 1-м банке,

адрес 65 - в 1-й секции, 0-подсекции, 1-м банке,

...

При одновременном обращении к одной и той же секции из разных портов возникает

задержка в 1 такт, а при обращении к одной и той же подсекции одной секции задержка

варьируется от 1 до 6 тактов. При выборке последовательно расположенных данных или

при выборке с любым нечетным шагом конфликтов не возникает.

Секция ввода/вывода

Компьютер поддерживает три типа каналов, которые различаются скоростью передачи:

 Low-speed (LOSP) channels - 6 Mbytes/s

 High-speed (HISP) channels - 200 Mbytes/s

 Very high-speed (VHISP) channels - 1800 Mbytes/s

Секция межпроцессорного взаимодействия

Секция межпроцессорного взаимодействия содержит разделяемые регистры и семафоры,

предназначенные для передачи данных и управляющей информации между процессорами.

Регистры и семафоры разделены на одинаковые группы (кластеры), каждый кластер

содержит 8 (32-разрядных) разделяемых адресных (SB) регистра, 8 (64-разрядных)

разделяемых скалярных (ST) регистра и 32 однобитовых семафора.

Вычислительная секция процессора

Все процессоры имеют одинаковую вычислительную секцию, состоящую из регистров,

функциональных устройств (ФУ) и сети коммуникаций. Регистры и ФУ могут хранить и

обрабатывать три типа данных: адреса (A-регистры, B-регистры), скаляры (S-регистры, T-

регистры) и вектора (V-регистры).

Регистры

Каждый процессор имеет три набора основных регистров (A, S, V), которые имеют связь

как с памятью, так и с ФУ. Для регистров A и S существуют промежуточные наборы

регистров B и T, играющие роль буферов для основных регистров.

Адресные регистры: A-регистры, 8 штук по 32 разряда, для хранения и вычисления

адресов, индексации, указания величины сдвигов, числа итераций циклов и т.д. B-

регистры, 64 штуки по 32 разряда.

Скалярные регистры: S-регистры, 8 штук по 64 разряда, для хранения аргументов и

результатов скалярной арифметики, иногда содержат операнд для векторных команд. T-

регистры, 64 штуки по 64 разряда. Скалярные регистры используются для выполнения как

скалярных, так и векторных команд.

Векторные регистры: V-регистры, 8 штук на 128 64-разрядных слова каждый. Векторные

регистры используются только для выполнения векторных команд.

Регистр длины вектора: 8 разрядов.