Немнюгин С.А. Средства программирования для многопроцессорных вычислительных систем
Подождите немного. Документ загружается.
41
Передача
по
готовности
int MPI_Rsend(void *buf, int count, MPI_Datatype datatype, int
dest, int tag, MPI_Comm comm)
MPI_RSEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, IERR)
Параметры
совпадают
с
параметрами
подпрограммы
MPI_Send
.
Блокирующая
проверка
доставки
сообщения
int MPI_Probe(int source, int tag, MPI_Comm comm, MPI_Status
*status)
MPI_PROBE(SOURCE, TAG, COMM, STATUS, IERR)
Входные
параметры
:
•
source
ранг
источника
или
"
джокер
";
•
tag
значение
тега
или
"
джокер
";
•
comm
коммуникатор
.
Выходной
параметр
:
•
status
статус
.
Неблокирующая
проверка
сообщения
int MPI_Iprobe(int source, int tag, MPI_Comm comm, int *flag,
MPI_Status *status)
MPI_IPROBE(SOURCE, TAG, COMM, FLAG, STATUS, IERR)
Входные
параметры
этой
подпрограммы
те
же
,
что
и
у
подпрограммы
MPI_Probe
.
Выходные
параметры
:
•
flag
флаг
;
•
status
статус
.
Если
сообщение
уже
поступило
и
может
быть
принято
,
возвращается
значение
флага
"
истина
".
Прием
и
передача
данных
с
блокировкой
int MPI_Sendrecv(void *sendbuf, int sendcount, MPI_Datatype sendtype,
int dest, int sendtag, void *recvbuf, int recvcount, MPI_Datatype
recvtype, int source, int recvtag, MPI_Comm comm, MPI_Status *status)
MPI_SENDRECV(SENDBUF, SENDCOUNT, SENDTYPE, DEST, SENDTAG, RECVBUF,
RECVCOUNT, RECVTYPE, SOURCE, RECVTAG, COMM, STATUS, IERR)
Входные
параметры
:
•
sendbuf
начальный
адрес
буфера
передачи
;
•
sendcount
количество
передаваемых
элементов
;
•
sendtype
тип
передаваемых
элементов
;
•
dest
ранг
адресата
;
•
sendtag
тег
передаваемого
сообщения
;
42
•
recvbuf
начальный
адрес
буфера
приема
;
•
recvcount
количество
элементов
в
буфере
приема
;
•
recvtype
тип
элементов
в
буфере
приема
;
•
source
ранг
источника
;
•
recvtag
тег
принимаемого
сообщения
;
•
comm
коммуникатор
.
Выходные
параметры
:
•
recvbuf
начальный
адрес
буфера
приема
;
•
status
статус
операции
приема
.
Прием
,
и
передача
используют
один
и
тот
же
коммуникатор
.
Буферы
передачи
и
приема
не
должны
пересекаться
,
у
них
может
быть
разный
размер
,
типы
пересылаемых
и
принимаемых
данных
также
могут
различаться
.
Отправка
и
прием
сообщения
в
блокирующем
режиме
с
общим
буфером
для
передачи
и
для
приема
int MPI_Sendrecv_replace(void *buf, int count, MPI_Datatype datatype,
int dest, int sendtag, int source, int recvtag, MPI_Comm comm,
MPI_Status *status)
MPI_SENDRECV_REPLACE(BUF, COUNT, DATATYPE, DEST, SENDTAG, SOURCE,
RECVTAG, COMM, STATUS, IERR)
Входные
параметры
:
•
count
количество
отправляемых
данных
и
емкость
буфера
приема
;
•
datatype
тип
данных
в
буфере
приема
и
передачи
;
•
dest
ранг
адресата
;
•
sendtag
тег
передаваемого
сообщения
;
•
source
ранг
источника
;
•
recvtag
тег
принимаемого
сообщения
;
•
comm
коммуникатор
.
Выходные
параметры
:
•
buf
начальный
адрес
буфера
приема
и
передачи
;
•
status
статус
.
Принимаемое
сообщение
не
должно
превышать
по
размеру
отправляемое
сообщение
,
а
передаваемые
и
принимаемые
данные
должны
быть
одного
типа
.
Последовательность
приема
и
передачи
выбирается
системой
автоматически
.
Инициализация
неблокирующей
стандартной
передачи
int MPI_Isend(void *buf, int count, MPI_Datatype datatype, int dest,
int tag, MPI_Comm comm, MPI_Request *request)
MPI_ISEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERR)
Входные
параметры
этой
подпрограммы
аналогичны
аргументам
подпрограммы
MPI_Send
.
43
Выходной
параметр
:
•
request
идентификатор
операции
.
Инициализация
неблокирующей
синхронной
передачи
данных
int MPI_Issend(void *buf, int count, MPI_Datatype datatype, int dest,
int tag, MPI_Comm comm, MPI_Request *request)
MPI_ISSEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERR)
Параметры
этой
подпрограммы
совпадают
с
параметрами
подпрограммы
MPI_Send
.
Неблокирующая
буферизованная
передача
сообщения
int MPI_Ibsend(void *buf, int count, MPI_Datatype datatype, int dest,
int tag, MPI_Comm comm, MPI_Request *request)
MPI_IBSEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERR)
Неблокирующая
передача
"
по
готовности
"
int MPI_Irsend(void* buf, int count, MPI_Datatype datatype, int dest,
int tag, MPI_Comm comm, MPI_request *request)
MPI_IRSEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERR)
Параметры
всех
подпрограмм
неблокирующей
передачи
совпадают
.
Инициализация
неблокирующего
приема
int MPI_Irecv(void *buf, int count, MPI_Datatype datatype, int source,
int tag, MPI_Comm comm, MPI_Request *request)
MPI_IRECV(BUF, COUNT, DATATYPE, SOURCE, TAG, COMM, REQUEST, IERR)
Назначение
аргументов
здесь
такое
же
,
как
и
в
предыдущих
подпрограммах
,
за
исключением
того
,
что
указывается
ранг
не
адресата
,
а
источника
сообщения
(
source
).
Блокировка
работы
процесса
до
завершения
приема
или
передачи
сообщения
int MPI_Wait(MPI_Request *request, MPI_Status *status)
MPI_WAIT(REQUEST, STATUS, IERR)
Входной
параметр
:
•
request
идентификатор
операции
обмена
.
Выходной
параметр
:
•
status
статус
выполненной
операции
.
Значение
статуса
для
операции
передачи
сообщения
можно
получить
вызовом
подпрограммы
MPI_Test_cancelled
.
Можно
вызвать
MPI_Wait
с
пустым
или
неактивным
аргументом
request
.
В
этом
случае
операция
завершается
сразу
же
с
пустым
статусом
.
44
Успешное
выполнение
подпрограммы
MPI_Wait
после
вызова
MPI_Ibsend
подразумевает
,
что
буфер
передачи
можно
использовать
вновь
,
то
есть
пересылаемые
данные
отправлены
или
скопированы
в
буфер
,
выделенный
при
вызове
подпрограммы
MPI_Buffer_attach
.
В
этот
момент
уже
нельзя
отменить
передачу
.
Если
не
будет
зарегистрирован
соответствующий
прием
,
буфер
нельзя
будет
освободить
.
В
этом
случае
можно
применить
подпрограмму
MPI_Cancel
,
которая
освобождает
память
,
выделенную
подсистеме
коммуникаций
.
Неблокирующая
проверка
завершения
приема
или
передачи
сообщения
int MPI_Test(MPI_Request *request, int *flag, MPI_Status *status)
MPI_TEST(REQUEST, FLAG, STATUS, IERR)
Входной
параметр
:
•
request
идентификатор
операции
обмена
.
Выходные
параметры
:
•
flag
"
истина
",
если
операция
,
заданная
идентификатором
request
,
выполнена
;
•
status
статус
выполненной
операции
.
Если
при
вызове
MPI_Test
используется
пустой
или
неактивный
аргумент
request
,
операция
возвращает
значение
флага
"
истина
"
и
пустой
статус
.
Проверка
завершения
всех
обменов
int MPI_Waitall(int count, MPI_Request requests[], MPI_Status
statuses[])
MPI_WAITALL(COUNT, REQUESTS, STATUSES, IERR)
Выполнение
процесса
блокируется
до
тех
пор
,
пока
все
операции
обмена
,
связанные
с
активными
запросами
в
массиве
requests
,
не
будут
выполнены
.
Возвращается
статус
этих
операций
.
Статус
обменов
содержится
в
массиве
statuses
.
count
количество
запросов
на
обмен
(
размер
массивов
requests
и
statuses
).
В
результате
выполнения
подпрограммы
MPI_Waitall
запросы
,
сформированные
неблокирующими
операциями
обмена
,
аннулируются
,
а
соответствующим
элементам
массива
присваивается
значение
MPI_REQUEST_NULL
.
Список
может
содержать
пустые
или
неактивные
запросы
.
Для
каждого
из
них
устанавливается
пустое
значение
статуса
.
В
случае
неуспешного
выполнения
одной
или
более
операций
обмена
подпрограмма
MPI_Waitall
возвращает
код
ошибки
MPI_ERR_IN_STATUS
и
присваивает
полю
ошибки
статуса
значение
кода
ошибки
соответствующей
операции
.
Если
операция
выполнена
успешно
,
полю
присваивается
значение
MPI_SUCCESS
,
а
если
не
выполнена
,
но
и
не
было
ошибки
значение
MPI_ERR_PENDING
.
Последний
случай
соответствует
наличию
запросов
на
выполнение
операции
обмена
,
ожидающих
обработки
.
Неблокирующая
проверка
завершения
обменов
int MPI_Testall(int count, MPI_Request requests[], int *flag,
MPI_Status statuses[])
MPI_TESTALL(COUNT, REQUESTS, FLAG, STATUSES, IERR)
45
При
вызове
возвращается
значение
флага
(
flag
) "
истина
",
если
все
обмены
,
связанные
с
активными
запросами
в
массиве
requests
,
выполнены
.
Если
завершены
не
все
обмены
,
флагу
присваивается
значение
"
ложь
",
а
массив
statuses
не
определен
.
count
количество
запросов
.
Каждому
статусу
,
соответствующему
активному
запросу
,
присваивается
значение
статуса
соответствующего
обмена
.
Если
запрос
был
сформирован
операцией
неблокирующего
обмена
,
он
аннулируется
,
а
соответствующему
элементу
массива
присваивается
значение
MPI_REQUEST_NULL
.
Каждому
статусу
,
соответствующему
пустому
или
неактивному
запросу
,
присваивается
пустое
значение
.
Блокирующая
проверка
завершения
любого
числа
обменов
int MPI_Waitany(int count, MPI_Request requests[], int *index,
MPI_Status *status)
MPI_WAITANY(COUNT, REQUESTS, INDEX, STATUS, IERR)
Выполнение
процесса
блокируется
до
тех
пор
,
пока
,
по
крайней
мере
,
один
обмен
из
массива
запросов
(
requests
)
не
будет
завершен
.
Входные
параметры
:
•
requests
запрос
;
•
count
количество
элементов
в
массиве
requests
,
а
выходные
:
status
и
index
.
Выходные
параметры
:
•
index
индекс
запроса
(
в
языке
C
это
целое
число
от
0
до
count
– 1,
а
в
языке
FORTRAN
от
1
до
count
)
в
массиве
requests
;
•
status
статус
.
Если
запрос
на
выполнение
операции
был
сформирован
неблокирующей
операцией
обмена
,
он
аннулируется
и
ему
присваивается
значение
MPI_REQUEST_NULL
.
Массив
запросов
может
содержать
пустые
или
неактивные
запросы
.
Если
в
списке
вообще
нет
активных
запросов
или
он
пуст
,
вызовы
завершаются
сразу
со
значением
индекса
MPI_UNDEFINED
и
пустым
статусом
.
Проверка
выполнения
любого
ранее
инициализированного
обмена
int MPI_Testany(int count, MPI_Request requests[], int *index, int
*flag, MPI_Status *status)
MPI_TESTANY(COUNT, REQUESTS, INDEX, FLAG, STATUS, IERR)
Смысл
и
назначение
параметров
этой
подпрограммы
те
же
,
что
и
для
подпрограммы
MPI_Waitany
.
Дополнительный
аргумент
flag
,
который
принимает
значение
"
истина
",
если
одна
из
операций
завершена
.
Блокирующая
подпрограмма
MPI_Waitany
и
неблокирующая
MPI_Testany
взаимозаменяемы
,
впрочем
,
как
и
другие
аналогичные
пары
.
Подпрограммы
MPI_Waitsome
и
MPI_Testsome
действуют
аналогично
подпрограммам
MPI_Waitany
и
MPI_Testany
,
кроме
случая
,
когда
завершается
более
одного
обмена
.
В
подпрограммах
MPI_Waitany
и
MPI_Testany
обмен
из
числа
завершенных
выбирается
произвольно
,
именно
для
него
и
возвращается
статус
,
а
для
MPI_Waitsome
и
46
MPI_Testsome
статус
возвращается
для
всех
завершенных
обменов
.
Эти
подпрограммы
можно
использовать
для
определения
,
сколько
обменов
завершено
:
int MPI_Waitsome(int incount, MPI_Request requests[], int *outcount,
int indices[], MPI_Status statuses[])
MPI_WAITSOME(INCOUNT, REQUESTS, OUTCOUNT, INDICES, STATUSES, IERR)
Здесь
incount
количество
запросов
.
В
outcount
возвращается
количество
выполненных
запросов
из
массива
requests
,
а
в
первых
outcount
элементах
массива
indices
возвращаются
индексы
этих
операций
.
В
первых
outcount
элементах
массива
statuses
возвращается
статус
завершенных
операций
.
Если
выполненный
запрос
был
сформирован
неблокирующей
операцией
обмена
,
он
аннулируется
.
Если
в
списке
нет
активных
запросов
,
выполнение
подпрограммы
завершается
сразу
,
а
параметру
outcount
присваивается
значение
MPI_UNDEFINED
.
Неблокирующая
проверка
выполнения
обменов
int MPI_Testsome(int incount, MPI_Request requests[], int *outcount,
int indices[], MPI_Status statuses[])
MPI_TESTSOME(INCOUNT, REQUESTS, OUTCOUNT, INDICES, STATUSES, IERR)
Параметры
такие
же
,
как
и
у
подпрограммы
MPI_Waitsome
.
Эффективность
подпрограммы
MPI_Testsome
выше
,
чем
у
MPI_Testany
,
поскольку
первая
возвращает
информацию
обо
всех
операциях
,
а
для
второй
требуется
новый
вызов
для
каждой
выполненной
операции
.
Запрос
для
стандартной
передачи
создается
при
вызове
подпрограммы
MPI_Send_init
:
int MPI_Send_init(void *buf, int count, MPI_Datatype datatype, int
dest, int tag, MPI_Comm comm, MPI_Request *request)
MPI_SEND_INIT(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERR)
Входные
параметры
:
•
buf
адрес
буфера
передачи
;
•
count
количество
элементов
;
•
datatype
тип
элементов
;
•
dest
ранг
адресата
;
•
tag
тег
сообщения
;
•
comm
коммуникатор
.
Выходной
параметр
:
•
request
запрос
на
выполнение
операции
обмена
.
Инициализация
отложенного
обмена
int MPI_Start(MPI_Request *request)
MPI_START(REQUEST, IERR)
Входной
параметр
:
•
request
запрос
на
выполнение
операции
обмена
.
47
Вызов
MPI_Start
с
запросом
на
обмен
,
созданным
MPI_Send_init
,
инициирует
обмен
с
теми
же
свойствами
,
что
и
вызов
подпрограммы
MPI_Isend
,
а
вызов
MPI_Start
с
запросом
,
созданным
MPI_Bsend_init
,
инициирует
обмен
аналогично
вызову
MPI_Ibsend
.
Сообщение
,
которое
передано
операцией
,
инициированной
с
помощью
MPI_Start
,
может
быть
принято
любой
подпрограммой
приема
.
Инициализация
обменов
,
связанных
с
запросами
на
выполнение
неблокирующей
операции
обмена
в
массиве
requests
int MPI_Startall(int count, MPI_request *requests)
MPI_STARTALL(COUNT, REQUESTS, IERR)
Аннулирование
неблокирующих
"
ждущих
" (
ожидающих
обработки
)
обменов
int MPI_Cancel(MPI_request *request)
MPI_CANCEL(REQUEST, IERR)
MPI_Cancel
можно
использовать
для
аннулирования
обменов
,
использующих
как
отложенный
,
так
и
обычный
запрос
.
После
вызова
MPI_Cancel
и
следующего
за
ним
вызова
MPI_Wait
или
MPI_Test
,
запрос
на
выполнение
операции
обмена
становится
неактивным
и
может
быть
активизирован
для
нового
обмена
.
Информация
об
аннулированной
операции
содержится
в
аргументе
status
.
Проверка
,
произведено
ли
аннулирование
обмена
,
связанного
с
указанным
статусом
int MPI_Test_cancelled(MPI_Status *status, int *flag)
MPI_TEST_CANCELLED(STATUS, FLAG, IERR)
Аннулирование
запроса
на
выполнение
операции
(
request
)
int MPI_Request_free(MPI_Request *request)
MPI_REQUEST_FREE(REQUEST, IERR)
При
вызове
помечает
запрос
на
обмен
для
удаления
и
присваивает
ему
значение
MPI_REQUEST_NULL
.
Операции
обмена
,
связанной
с
этим
запросом
,
дается
возможность
завершиться
,
а
сам
запрос
удаляется
только
после
завершения
обмена
.
Коллективный обмен
Участниками
коллективного
обмена
являются
более
двух
процессов
.
Широковещательная
рассылка
int MPI_Bcast(void *buffer, int count, MPI_Datatype datatype, int
root, MPI_Comm comm)
MPI_BCAST(BUFFER, COUNT, DATATYPE, ROOT, COMM, IERR)
Параметры
этой
процедуры
одновременно
являются
входными
и
выходными
:
•
buffer
адрес
буфера
;
48
•
count
количество
элементов
данных
в
сообщении
;
•
datatype
тип
данных
MPI;
•
root
ранг
главного
процесса
,
выполняющего
широковещательную
рассылку
;
•
comm
коммуникатор
.
Схема
распределения
данных
представлена
на
рис
. 16.
Рис. 16.
Распределение
данных
при
широковещательной
рассылке
Синхронизация
с
помощью
"
барьера
" (
рис
. 17)
int MPI_Barrier(MPI_Comm comm)
MPI_BARRIER(COMM, IERR)
Рис. 17.
Синхронизация
с
«
барьером
»
49
При
синхронизации
с
барьером
выполнение
каждого
процесса
из
данного
коммуникатора
приостанавливается
до
тех
пор
,
пока
все
процессы
не
выполнят
вызов
процедуры
синхронизации
MPI_Barrier
.
Распределение
данных
int MPI_Scatter(void *sendbuf, int sendcount, MPI_Datatype sendtype,
void *rcvbuf, int rcvcount, MPI_Datatype rcvtype, int root, MPI_Comm
comm)
MPI_SCATTER(SENDBUF, SENDCOUNT, SENDTYPE, RCVBUF, RCVCOUNT, RCVTYPE,
ROOT, COMM, IERR)
Входные
параметры
:
•
sendbuf
адрес
буфера
передачи
;
•
sendcount
количество
элементов
,
пересылаемых
каждому
процессу
(
но
не
суммарное
количество
пересылаемых
элементов
);
•
sendtype
тип
передаваемых
данных
;
•
rcvcount
количество
элементов
в
буфере
приема
;
•
rcvtype
тип
принимаемых
данных
;
•
root
ранг
передающего
процесса
;
•
comm
коммуникатор
.
Выходной
параметр
:
•
rcvbuf
адрес
буфера
приема
.
Процесс
с
рангом
root
распределяет
содержимое
буфера
передачи
sendbuf
среди
всех
процессов
(
рис
. 18).
Содержимое
буфера
передачи
разбивается
на
несколько
фрагментов
,
каждый
из
которых
содержит
sendcount
элементов
.
Первый
фрагмент
передается
процессу
0,
второй
процессу
1
и
т
.
д
.
Аргументы
send
имеют
значение
только
на
стороне
процесса
root
.
Рис. 18.
Распределение
данных
при
выполнении
операции
Scatter
Сбор
сообщений
от
остальных
процессов
в
буфер
главной
задачи
int MPI_Gather(void *sendbuf, int sendcount, MPI_Datatype sendtype,
void *rcvbuf, int rcvcount, MPI_Datatype rcvtype, int root, MPI_Comm
comm)
50
MPI_GATHER(SENDBUF, SENDCOUNT, SENDTYPE, RCVBUF, RCVCOUNT, RCVTYPE,
ROOT, COMM, IERR)
Каждый
процесс
в
коммуникаторе
comm
пересылает
содержимое
буфера
передачи
sendbuf
процессу
с
рангом
root
.
Процесс
root
"
склеивает
"
полученные
данные
в
буфере
приема
(
рис
. 19).
Порядок
склейки
определяется
рангами
процессов
,
то
есть
в
результирующем
наборе
после
данных
от
процесса
0
следуют
данные
от
процесса
1,
затем
данные
от
процесса
2
и
т
.
д
.
Аргументы
rcvbuf
,
rcvcount
и
rcvtype
играют
роль
только
на
стороне
главного
процесса
.
Аргумент
rcvcount
указывает
количество
элементов
данных
,
полученных
от
каждого
процесса
(
но
не
суммарное
их
количество
).
При
вызове
подпрограмм
MPI_Scatter
и
MPI_Gather
из
разных
процессов
следует
использовать
общий
главный
процесс
.
Рис. 19.
Сбор
данных
при
выполнении
операции
Gather
Векторная
подпрограмма
распределения
данных
int MPI_Scatterv(void *sendbuf, int *sendcounts, int *displs,
MPI_Datatype sendtype, void *rcvbuf, int rcvcount, MPI_Datatype
rcvtype, int root, MPI_Comm comm)
MPI_SCATTERV(SENDBUF, SENDCOUNTS, DISPLS, SENDTYPE, RCVBUF, RCVCOUNT,
RCVTYPE, ROOT, COMM, IERR)
Входные
параметры
:
•
sendbuf
адрес
буфера
передачи
;
•
sendcounts
целочисленный
одномерный
массив
,
содержащий
количество
элементов
,
передаваемых
каждому
процессу
(
индекс
равен
рангу
адресата
).
Его
длина
равна
количеству
процессов
в
коммуникаторе
;
•
displs
целочисленный
массив
,
длина
которого
равна
количеству
процессов
в
коммуникаторе
.
Элемент
с
индексом
i
задает
смещение
относительно
начала
буфера
передачи
.
Ранг
адресата
равен
значению
индекса
i
;
•
sendtype
тип
данных
в
буфере
передачи
;
•
rcvcount
количество
элементов
в
буфере
приема
;
•
rcvtype
тип
данных
в
буфере
приема
;
•
root
ранг
передающего
процесса
;
•
comm
коммуникатор
.