Шпаковский Г.И., Серикова Н.В. Программирование для многопроцессорных систем в стандарте MPI

Подождите немного. Документ загружается.

151

OUT newcomm копия comm (дескриптор)

int MPI_Comm_dup(MPI_Comm comm, MPI_Comm *newcomm)

MPI_COMM_DUP(COMM, NEWCOMM, IERROR)

INTEGER COMM, NEWCOMM, IERROR

MPI::Intracomm MPI::Intracomm::Dup() const

MPI_COMM_CREATE(comm, group, newcomm)

IN comm коммуникатор (дескриптор)

IN group

группа, являющаяся подмножеством группы comm (де-

скриптор)

OUT newcomm новый коммуникатор (дескриптор)

int MPI_Comm_create(MPI_Comm comm, MPI_Group group,

MPI_Comm *newcomm)

MPI_COMM_CREATE(COMM, GROUP, NEWCOMM, IERROR)

INTEGER COMM, GROUP, NEWCOMM, IERROR

MPI::Intracomm MPI::Intracomm::Create(const MPI::Group& croup) const

Эта функция создает новый коммуникатор newcomm с коммуни-

кационной группой, определенной аргументом

group и новым кон-

текстом. Из

comm в newcomm не передается никакой кэшированной

информации. Функция возвращает

MPI_COMM_NULL для процес-

сов, не входящих в

group. Запрос неверен, если не все аргументы в

group имеют одинаковое значение или если group не является под-

множеством группы, связанной с

comm. Заметим, что запрос должен

быть выполнен всеми процессами в

comm, даже если они не принад-

лежат новой группе.

MPI_COMM_SPLIT(comm, color, key, newcomm)

IN comm коммуникатор (дескриптор)

IN color управление созданием подмножества (целое)

IN key управление назначением номеров целое)

OUT newcomm новый коммуникатор (дескриптор)

int MPI_Comm_split(MPI_Comm comm, int color, int key, MPI_Comm *newcomm)

MPI_COMM_SPLIT(COMM, COLOR, KEY, NEWCOMM, IERROR)

INTEGER COMM, COLOR, KEY, NEWCOMM, IERROR

MPI::Intracomm MPI::Intracomm::Split(int color, int key) const

Эта функция делит группу, связанную с comm, на непересекаю-

щиеся подгруппы по одной для каждого значения

color. Каждая под-

группа содержит все процессы одного цвета. В пределах каждой под

152

группы процессы пронумерованы в порядке, определенном значением

аргумента

key, со связями, разделенными согласно их номеру в старой

группе.

Для каждой подгруппы создается новый коммуникатор и возвра-

щается в аргументе

newcomm. Процесс может иметь значение цвета

MPI_UNDEFINED, тогда переменная newcomm возвращает значение

MPI_COMM_NULL. Это коллективная операция, но каждому про-

цессу разрешается иметь различные значения для

color и key.

Обращение к MPI_COMM_CREATE (сomm, group, newcomm)

эквивалентно обращению к MPI_COMM_SPLIT (comm, color, key,

newcomm),

где все члены group имеют color =0 и key = номеру в

group, и все процессы, которые не являются членами group, имеют

color = MPI_UNDEFINED.

Функция MPI_COMM_SPLIT допускает более общее разделение

группы на одну или несколько подгрупп с необязательным переупо-

рядочением. Этот запрос используют только интра-коммуникаторы.

Значение

color должно быть неотрицательно.

5.4.3. Деструкторы коммуникаторов

MPI_COMM_FREE(comm)

INOUT comm удаляемый коммуникатор (handle)

int MPI_Comm_free(MPI_Comm *comm)

MPI_COMM_FREE(COMM, IERROR)

INTEGER COMM, IERROR

void MPI::Comm:Free()

Эта коллективная операция маркирует коммуникационный объект

для удаления. Дескриптор устанавливается в

MPI_COMM_NULL.

Любые ждущие операции, которые используют этот коммуникатор,

будут завершаться нормально; объект фактически удаляется только в

том случае, если не имеется никаких других активных ссылок на него.

5.5. ПРИМЕРЫ

Пример 5.1.

main(int argc, char **argv)

{

int me, count, count2;

void *send_buf, *recv_buf, *send_buf2, *recv_buf2;

153

MPI_Group MPI_GROUP_WORLD, grprem;

MPI_Comm commslave;

static int ranks[ ] = {0};

MPI_Init(&argc, &argv);

MPI_Comm_group(MPI_COMM_WORLD,&MPI_GROUP_WORLD);

MPI_Comm_rank(MPI_COMM_WORLD, &me);

/* локально */

MPI_Group_excl(MPI_GROUP_WORLD, 1, ranks, &grprem);

/* локально */

MPI_Comm_create(MPI_COMM_WORLD, grprem, &commslave);

if(me != 0)

{ … /* вычисления на подчиненном процессе */

MPI_Reduce(send_buf,recv_buff,count, MPI_INT,

MPI_SUM, 1, commslave);

}

/* процесс 0 останавливается немедленно после выполнения этого

reduce, другие процессы – позже... */

MPI_Reduce(send_buf2, recv_buff2, count2, MPI_INT, MPI_SUM, 0,

MPI_COMM_WORLD);

MPI_Comm_free(&commslave);

MPI_Group_free(&MPI_GROUP_WORLD);

MPI_Group_free(&grprem);

MPI_Finalize();

}

Этот пример иллюстрирует, как из исходной группы создается

группа, содержащая все процессы, кроме процесса 0, затем, как фор-

мируется коммуникатор (

commslave) для новой группы. Новый ком-

муникатор используется в коллективном обмене, и все процессы вы-

полняются в контексте

MPI_COMM_WORLD. Пример иллюстриру-

ет, как два коммуникатора (которые обязательно имеют различные

контексты) защищают обмен. Это означает, что обмен в

commslave

изолирован от обмена в MPI_COMM_WORLD, и наоборот.

Пример 5.2. Следующий пример иллюстрирует "безопасное" выпол-

нение парного и коллективного обменов в одном коммуникаторе.

#define TAG_ARBITRARY 12345

#define SOME_COUNT 50

main(int argc, char **argv)

{ int me;

MPI_Request request[2];

154

MPI_Status status[2];

MPI_Group MPI_GROUP_WORLD, subgroup;

int ranks[] = {2, 4, 6, 8};

MPI_Comm the_comm;

MPI_Init(&argc, &argv);

MPI_Comm_group(MPI_COMM_WORLD,&MPI_GROUP_WORLD);

MPI_Group_incl(MPI_GROUP_WORLD,4,ranks, &subgroup);

/*локально */

MPI_Group_rank(subgroup, &me); /* локально */

MPI_Comm_create(MPI_COMM_WORLD, subgroup, &the_comm);

/* парный обмен */

if(me != MPI_UNDEFINED) {

MPI_Irecv(buff1, count, MPI_DOUBLE, MPI_ANY_SOURCE,

TAG_ARBITRARY, the_comm, request);

MPI_Isend(buff2, count, MPI_DOUBLE, (me+1)%4,

TAG_ARBITRARY, the_comm, request+1);

} /* коллективная операция */

for(i = 0; i < SOME_COUNT, i++)

MPI_Reduce(..., the_comm);

MPI_Waitall(2, request, status);

MPI_Comm_free(t&he_comm);

MPI_Group_free(&MPI_GROUP_WORLD);

MPI_Group_free(&subgroup);

MPI_Finalize();

}

КОНТРОЛЬНЫЕ ВОПРОСЫ И ЗАДАНИЯ К ГЛАВЕ 5

Контрольные вопросы к 5.1

1. Какие преимущества получает пользователь, использующий параллельные

библиотеки?

2. Перечислите проблемы при написании параллельных библиотек.

3. Какие специфические структуры введены в MPI, необходимые для создания и

использования параллельных библиотек?

4. В чем различие между группой процессов и коммуникатором?

5. Могут ли общаться процессы, принадлежащие разным коммуникаторам?

6. Что такое виртуальная топология?

Контрольные вопросы к 5.2

1. Можно ли ввести собственную нумерацию процессов в группе, например:

2,4,6,8,…?

2. Какая предопределенная константа является группой без членов?

3. В какой момент выполнения приложения определяется начальный коммуни-

катор MPI_COMM_WORLD?

4. MPI_COMM_WORLD является интер или интра-коммуникатором?

5. Можно ли удалить коммуникатор MPI_COMM_WORLD в течение времени

существования процесса?

155

Контрольные вопросы к 5.3

1. Функции управления группой являются локальными или коллективными?

2. Что возвращает функция MPI_Group_rank, если процесс, в котором произво-

дится вызов этой функции, не является членом этой группы?

3. Как определить номер процесса в группе, зная его номер в группе, соответст-

вующей коммуникатору MPI_COMM_WORLD?

4. Перечислите три возможных варианта результата, которые можно получить

после вызова функции MPI_Group_compare.

5. Функции-конструкторы групп являются локальными?

6. Что такое базовая группа? Приведите пример базовой группы.

7. Можно ли определить в каждом процессе приложения собственную группу

процессов?

8. Какая функция позволяет определить группу какого-либо коммуникатора?

9. Можно ли определить группу, которая не включает в себя процесс, ее соз-

дающий?

10. Перечислите операции над группами процессов, определенные для создания

новой группы.

Контрольные вопросы к 5.4

1. Можно ли изменить число процессов приложения после инициализации

MPI?

2. Могут ли быть строго вложенными множества процессов, определяющие раз-

личные коммуникаторы?

3. Должны ли быть непересекающимися множества процессов, определяющие

различные коммуникаторы?

4. Должны ли множества процессов, определяющие различные коммуникаторы,

состоять более чем из одного процесса?

5. Определены ли в каждой программе множества процессов, задающие различ-

ные коммуникаторы в количестве большем, чем 2?

6. Функции доступа к коммуникаторам локальные или коллективные?

7. В чем сходство и различие использования функций MPI_Group_size и

MPI_Comm_size, MPI_Group_rank и MPI_Com_rank, MPI_Group_compare и

MPI_Com_compare?

8. Функции создания коммуникаторов локальные или коллективные?

9. Какой коммуникатор создает MPI_Comm_dup?

10. Какой коммуникатор создает функция MPI_Comm_create, если она вызывает-

ся в процессе, не входящем в коммуникационную группу?

11. Сколько коммуникаторов создает MPI_Comm_split?

Контрольные вопросы к 5.5

1. В каком процессе находится результат коллективной операции MPI_Reduce в

примере 5.1, которая выполняется в новом коммуникаторе commslave?

2. Объясните необходимость использования проверки me!=MPI_UNDEFINED

в примере 5.2. В каком случае процесс получает номер MPI_UNDEFINED?

3. Сколько процессов и какие входят в коммуникатор the_comm в примере 5.2?

156

Для какой цели в примере 5.2 приведен цикл, в котором MPI_Reduce повторя-

ется много раз?

5. По какой схеме осуществляется обмен данными в примере 5.2?

Задания для самостоятельной работы

5.1. Организуйте передачу данных внутри коммуникатора, который создан

на основании группы, созданной из произвольного числа процессов, заданных

пользователем. Например, если 10 процессов в MPI_COMM_WORLD, то создайте

группу из 2,3,6,8,9 процессов.

5.2. Постройте ввод-вывод по принципу master/slave. Главный процесс дол-

жен принимать сообщения от подчиненных и печатать их в порядке нумерации

(сначала 0, затем 1 и так далее). Подчиненные должны посылать каждый по 2 со-

общения мастеру. Например, сообщения:

Hello from slave 3

Goodbye from slave 3

(с соответствующими сообщениями для каждого подчиненного процесса). Для

решения разделите процессы из MPI_COMM_WORLD на два коммуникатора:

один процесс в качестве главного и остальные процессы – подчиненные. Исполь-

зуйте новый коммуникатор для подчиненных процессов для того, чтобы полу-

чить номер подчиненного процесса в его коммуникаторе. Подчиненные процессы

могут также выполнять любые вычисления.

5.3. Выполните задание 5.2, изменив код мастера, чтобы он позволял прини-

мать три типа сообщений от подчиненных процессов: упорядоченный вывод (та-

кой же, как и в примере 1); неупорядоченный вывод (как если бы каждый подчи-

ненный процесс печатал непосредственно); сообщение о выходе. Мастер продол-

жает получать сообщения до тех пор, пока он не получит сообщения о выходе от

всех подчиненных процессов. Для простоты программирования пусть каждый

подчиненный процесс посылает сообщения:

Hello from slave 3

Goodbye from slave 3 в упорядоченном выходном режиме и

I'm exiting (3) в неупорядоченном режиме.

5.4. Напишите программу вычисления числа π методом Монте-Карло. Суть

метода в следующем. Если радиус круга равен 1, тогда площадь круга равна

π, а

площадь квадрата вокруг круга равна 4. Следовательно, отношение площади кру-

га к площади квадрата равно

π/4. Если теперь случайным образом генерировать

точки в пределах контура квадрата, то отношение числа точек, попавших в круг, к

общему количеству сгенерированных точек даст величину

π/4. Сгенерированная

точка находится в круге, если ее координаты соответствуют выражению x

+ y

<1.

Для генерации случайных чисел создайте отдельный процесс, который будет рас-

сылать эти числа другим процессам. Поскольку другие процессы должны будут

выполнить коллективные операции, в которых не участвует этот процесс, необхо-

димо определить коммуникатор, чья группа не включает генерацию случайных

чисел.

157

5.5. Пусть имеем n процессов, где n – произвольно. Создайте два коммуника-

тора: отдельно из процессов с четными и нечетными номерами. Осуществите пе-

редачу данных по кольцу внутри каждого коммуникатора.

5.6. Пусть количество процессов n=l*m. Тогда процессы можно представить

решеткой: l – строк и m столбцов. Создайте коммуникаторы для каждой строки и

каждого столбца решетки. Осуществите передачу данных по кольцу внутри каж-

дого коммуникатора.

Глава 6. ТОПОЛОГИИ ПРОЦЕССОВ

6.1. ВИРТУАЛЬНАЯ ТОПОЛОГИЯ

Топология является необязательным атрибутом, который дополня-

ет систему интра-коммуникаторов и не применяется в интер-

коммуникаторах. Топология обеспечивает удобный способ обозначе-

ния процессов в группе (внутри коммуникатора) и оказывает помощь

исполнительной системе при размещении процессов в аппаратной

среде. Во многих параллельных приложениях линейное распределе-

ние номеров не отражает в полной мере логической структуры обме-

нов между процессами, которая зависит от структуры задачи и ее ма-

тематического алгоритма. Часто процессы описываются в двух- и

трехмерных топологических средах. Наиболее общим видом тополо-

гии является организация процессов, описываемая графовой структу-

рой. В этой главе логическая организации процессов будет имено-

ваться как “ виртуальная топология ”.

Следует различать виртуальную топологию процессов и физиче-

скую топологию процессов. Виртуальная топология должна приме-

няться для назначения процессов физическим процессорам, если это

позволит увеличить производительность обменов на данной машине.

С другой стороны, описание виртуальной топологии зависит от кон-

кретного приложения и является машинно-независимой.

Кроме возможности получить выгоду в производительности, вир-

туальная топология может быть использована как средство обозначе-

ния процессов, которое значительно улучшает читаемость программ.

Взаимосвязь процессов может быть представлена графом. Узлы

такого графа представляют процессы, ребра соответствуют связям

между процессами. Стандарт MPI предусматривает передачу сообще-

ний между любой парой процессов в группе. Не обязательно указы-

вать канал связи явно. Следовательно, отсутствие канала связи в граф-

схеме процессов не запрещает соответствующим процессам обмени

158

ваться сообщениями. Из этого следует, что такая связь в виртуальной

топологии может отсутствовать, например, из-за того, что топология

не представляет удобного способа обозначения этого канала обмена.

Возможным следствием такого отсутствия может быть то, что автома-

тическая программа для размещения процессов по процессорам (если

такая будет существовать) не будет учитывать эту связь, и уменьшит-

ся эффективность вычислений. Ребра в графе не взвешены, поэтому

процесс может изображаться только подключенным или неподклю-

ченным.

Графовое представление топологии пригодно для всех приложе-

ний. Однако во многих приложениях графовая структура является ре-

гулярной и довольно простой, поэтому использование всех деталей

графового представления будет неудобным и малоэффективным в ис-

пользовании. Большая доля всех параллельных приложений использу-

ет топологию колец, двумерных массивов или массивов большей раз-

мерности. Эти структуры полностью определяются числом размерно-

стей и количеством процессов для каждой координаты. Кроме того,

отображение решеток и торов на аппаратуру обычно более простая

задача, чем отображение сложных графов.

Координаты в декартовой системе нумеруются от 0. Например,

соотношение между номером процесса в группе и координатами в

решетке (2 × 2) для четырех процессов будет следующим:

coord (0,0): rank 0

сoord (0,1): rank 1

сoord (1,0): rank 2

сoord (1,1): rank 3

Функции MPI_GRAPH_CREATE и MPI_CART_CREATE ис-

пользуются для создания универсальной (графовой) и декартовой то-

пологий соответственно. Эти функции являются коллективными. Как

и для других коллективных обращений, программа для работы с топо-

логией должна быть написана корректно, вне зависимости от того, яв-

ляются ли обращения синхронизированными или нет.

Функции создания топологии используют в качестве входа суще-

ствующий коммуникатор

comm_old, который определяет множество

процессов, для которых и создается топология.

Функция MPI_CART_CREATE может использоваться для описа-

ния декартовой системы произвольной размерности. Для каждой ко-

ординаты она определяет, является ли структура процессов периоди-

ческой или нет. Таким образом, никакой специальной поддержки для

159

структур типа гиперкуб не нужно. Локальная вспомогательная функ-

ция

MPI_DIMS_CREATE используется для вычисления сбалансиро-

ванности процессов для заданного количества размерностей.

Функция MPI_TOPO_TEST может использоваться для запроса о

топологии, связанной с коммуникатором. Информация о топологии

может быть извлечена из коммуникаторов с помощью функций

MPI_GRAPHDIMS_GET и MPI_GRAPH_GET для графов и

MPI_CARTDIM_GET и MPI_CART_GET – для декартовой топо-

логии. Дополнительные функции обеспечивают работу с декартовой

топологией:

MPI_CART_RANK и MPI_CART_COORDS переводят

декартовы координаты в номер группы и обратно; функция

MPI_CART_SUB может использоваться для выделения декартова

подпространства (аналогично функции

MPI_COMM_SPLIT). Функ-

ция

MPI_CART_SHIFT обеспечивает необходимую информацию

для обмена между соседними процессами в декартовой системе коор-

динат. Две функции

MPI_GRAPH_NEIGHBORS_COUNT и

MPI_GRAPH_NEIGHBORS используются для выделения соседних

процессов на топологической схеме. Функция

MPI_CART_SUB явля-

ется коллективной для группы входного коммуникатора, остальные

функции локальные.

6.2. ТОПОЛОГИЧЕСКИЕ КОНСТРУКТОРЫ

6.2.1. Конструктор декартовой топологии

Функция MPI_CART_CREATE создает новый коммуникатор, к

которому подключается топологическая информация.

Если reorder = false, то номер каждого процесса в новой группе

идентичен номеру в старой группе. Иначе функция может переупоря-

дочивать процессы (возможно, чтобы обеспечить хорошее наложение

виртуальной топологии на физическую систему). Если полная размер-

ность декартовой решетки меньше, чем размер группы коммуникато-

ров, то некоторые процессы возвращаются с результатом

MPI_COMM_NULL по аналогии с MPI_COMM_SPLIT. Вызов бу-

дет неверным, если он задает решетку большего размера, чем размер

группы.

MPI_CART_CREATE(comm_old, ndims, dims, periods, reorder, comm_cart)

IN comm_old исходный коммуникатор (дескриптор)

IN ndims размерность создаваемой декартовой решетки (целое)

IN dims

целочисленный массив размера ndims, хранящий количест-

во процессов по каждой координате

160

IN periods

массив логических элементов размера ndims, определяю-

щий, периодична (true) или нет (false) решетка в каждой

размерности

IN reorder

нумерация может быть сохранена (false) или переупорядо-

чена (true) (логическое значение)

OUT comm_cart коммуникатор новой декартовой топологии (дескриптор)

int MPI_Cart_create(MPI_Comm comm_old, int ndims, int *dims, int *periods,

int reorder, MPI_Comm *comm_cart)

MPI_CART_CREATE(COMM_OLD, NDIMS, DIMS, PERIODS, REORDER,

COMM_CART, IERROR)

INTEGER COMM_OLD, NDIMS, DIMS(*), COMM_CART, IERROR

LOGICAL PERIODS(*), REORDER

MPI::Cartcomm MPI::Intracomm::Create_cart(int ndims, const int dims[],

const bool periods[], bool reorder) const

6.2.2. Декартова функция MPI_DIMS_CREATE

В декартовой топологии функция MPI_DIMS_CREATE помогает

пользователю выбрать выгодное распределение процессов по каждой

координате в зависимости от числа процессов в группе и некоторых

ограничений, определенных пользователем. Эта функция использует-

ся, чтобы распределить все процессы группы в

n-мерную топологи-

ческую среду (размер группы

MPI_COMM_WORLD).

MPI_DIMS_CREATE(nnodes, ndims, dims)

IN nnodes количество узлов решетки (целое)

IN ndims число размерностей декартовой решетки(целое)

INOUT dims

целочисленный массив размера ndims, указывающий коли-

чество вершин в каждой размерности.

int MPI_Dims_create(int nnodes, int ndims, int *dims)

MPI_DIMS_CREATE(NNODES, NDIMS, DIMS, IERROR)

INTEGER NNODES, NDIMS, DIMS(*), IERROR

void MPI::Compute_dims(int nnodes, int ndims, int dims[])

Элементы массива dims описывают декартову решетку координат

с числом размерностей

ndims и общим количеством узлов nnodes.

Количество узлов по размерностям нужно сделать, насколько воз-

можно, близкими друг другу, используя соответствующий алгоритм

делимости. Вызывающая подпрограмма может дальше ограничить

выполнение этой функции, задавая количество элементов массива