mpi4py 中的单边通信同步操作

上一篇中我们介绍了 mpi4py 中的单边通信相关操作,下面我们将介绍单边通信的同步操作。

单边通信(远端内存访问)操作包括以下两个范畴:

  • 主动目标通信。与点到点通信类似,数据从一个进程的内存传送到另一个进程的内存中,两个进程都直接参与通信。
  • 被动目标通信。数据仍从一个进程转移到另外一个进程,但这个进程是一个第三方进程。真正参与通信的两个进程都是源——一个负责将数据 put 到第三方进程,另一个则从第三方进程 get 到本地内存中。

与此对应,MPI 提供以下三种远端内存访问的同步机制:

  1. Fence:主动同步

    • 提供并行计算中常用到的宽松同步模型,主要用于活动目标通信;
    • 在同一个 window 对象组中的所有进程都需要调用 Fence 来启动一个数据交换阶段;
    • 数据交换阶段中所有进程都可以发出读写操作请求;
    • 在同一个 window 对象组中的所有进程都需要调用 Fence 来结束一个数据交换阶段;
    • 第二次 Fence 同步完成时所有的操作请求都已完成。
  2. Start/Post,Wait/Complete 同步:主动同步

    • 也用于活动目标通信,适用于需最大限度减少同步操作的场合——仅对一组进程进行同步;
    • 和 Fence 类似,但源进程和目标进程指出他们可以和哪一个组的进程进行通信;
    • 目标进程:启动一个暴露阶段(Exposure Epoch): Post 打开,Wait 关闭;
    • 源进程:启动一个访问阶段(Access epoch):Start 打开,Complete 关闭。
  3. Lock/Unlock:被动同步

    • 单边非同步通信;
    • 目标进程不主动参与通信过程;
    • Lock/Unlock开始/结束被动通信阶段;
    • 可通过此类同步操作模拟共享内存访问模式——即公告牌模式,进程可以随机方式访问/更新公告牌的不同部分;
    • Flush:完成所有还没完成的操作。

同步方法

下面给出同步操作相关的方法(MPI.Win 类方法)接口:

Fence

Fence(self, int assertion=0)

对远端内存访问操作进行同步,该操作对 windows 对象所属进程组内的所有进程执行集合操作。assertion 参数主要用于在具体的调用上下文中设置优化措施,默认值为 0,其它有效的值有:

  • MPI.MODE_NOSTORE,表示自上一个同步操作以来,本地窗口并没有被本地的 store 操作、本地发起的 get 操作、本地进程执行的 receive 操作所修改过。
  • MPI.MODE_NOPUT,在此次 Fence 执行之后,直到配对的同步 Fence 执行之前,本地窗口都不会被 put 或 accumulate 操作更新。
  • MPI.MODE_NOPRECEDE,本次 Fence 不会在本地启动任何远端内存操作。当前组内所有进程都必须同时指定该选项。
  • MPI.MODE_NOSUCCEED,本次 Fence 不会在本地启动任何远端内存操作。当前组内所有进程都必须同时指定该选项。

Start/Complete,Post/Wait,Test

Start(self, Group group, int assertion=0)

在源进程启动访问时间段和开放时间段。group 参数是源进程同步操作涉及的进程组,assertion 参数设置源进程同步操作的优化条件。在时间段内所有内存访问操作仅允许访问 group 参数中指定的进程的窗口,组内被访问的进程都要通过 Post 启动配对的同步操作。源进程启动内存访问之后,直到目标进程启动配对的 Post 之后才可实际影响目标进程的窗口。

Complete(self)

与 Start 配对,结束源进程的访问时间段。会在源进程一侧强制完成访问时间段内所有的远端内存操作,但不会影响目标进程。

Post(self, Group group, int assertion=0)

在目标进程启动访问时间段和开放时间段。group 参数是源进程同步操作涉及的进程组,assertion 参数设置源进程同步操作的优化条件。

Wait(self)

与 Post 配对,二者分别定义一个开放时间段的起始和结束。Wait 会阻塞,并与允许在此时间段内访问窗口对象的所有源进程的 Complete 相匹配,以此来确保所有源进程在窗口对象的本地副本上完成远端内存访问,而当 Wait 返回时,意味着目标进程窗口对象上的远端内存访问操作已完成。

Test(self)

Wait 的非阻塞版本,如果返回 True,则相当于调用 Wait 返回,如果返回 False,则没有什么可见的效应。

Lock/Unlock

Lock(self, int rank, int lock_type=LOCK_EXCLUSIVE, int assertion=0)

被动目标同步操作,标记一个访问时间段的开始,此期间仅允许由参数 rank 指定进程的窗口对象可被远端内存访问。locak_type 可以是默认的 MPI.LOCK_EXCLUSIVE(互斥锁)或 MPI.LOCK_SHARED(共享锁)。assertion 除了默认的 0 之外可以设置为 MPI.MODE_NOCHECK,表示在尝试创建锁时,可以确信没有其它进程已经取得了相同窗口对象的锁,或者正在尝试获取窗口对象的锁。

Unlock(self, int rank)

与 Lock 配对,标记一个访问时间段的结束。

例程

下面给出单边通信操作的同步相关方法的使用例程。

# win_sync.py

"""
Demonstrates the usage of Start, Complete, Post, Wait, Lock, Unlock.

Run this with 2 processes like:
$ mpiexec -n 2 python win.py
"""

import numpy as np
from mpi4py import MPI


comm = MPI.COMM_WORLD
rank = comm.Get_rank()

SIZE1 = 5
SIZE2 = 10

if rank == 0:
    A = np.zeros(SIZE2, dtype='i') # [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
    win =  MPI.Win.Create(None, comm=comm)
    # create a group with rank 1 only
    grp = comm.group.Incl(ranks=[1])

    # start remote memory access
    win.Start(grp)
    # put the first 5 elements of A of rank 0 to A[:5] of rank 1
    win.Put(A[:SIZE1], target_rank=1)
    # end remote memory access
    win.Complete()

    # lock to protect the get operation
    win.Lock(rank=1, lock_type=MPI.LOCK_SHARED)
    # get last 5 elements of A of rank 1 to A[:5] of rank 0
    win.Get(A[:SIZE1], target_rank=1, target=[5*4, 5, MPI.INT])
    # unlock after the get operation
    win.Unlock(rank=1)
    print 'rank 0 has A = %s' % A
else:
    A = np.zeros(SIZE2, dtype='i') + 1 # [1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
    win =  MPI.Win.Create(A, comm=comm)
    # create a group with rank 0 only
    grp = comm.group.Incl(ranks=[0])

    # start remote memory access
    win.Post(grp)
    # end remote memory access
    win.Wait()

    # no need for Lock and Unlock here

    print 'rank 1 has A = %s' % A

运行结果如下:

$ mpiexec -n 2 python win_sync.py
rank 1 has A = [0 0 0 0 0 1 1 1 1 1]
rank 0 has A = [1 1 1 1 1 0 0 0 0 0]

以上我们介绍了 mpi4py 中的单边通信的同步操作,在下一篇中我们将介绍并行 I/O。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 170,566评论 25 707
  • 在上一篇中我们简要地介绍了 mpi4py 中的单边通信概念,下面我们将介绍单边通信的相关操作。 创建/释放窗口对象...
    自可乐阅读 1,233评论 0 2
  • 在上一篇中我们介绍了 mpi4py 中的动态进程管理,下面我们将介绍单边通信。 简介 单边通信又称作远端内存访问(...
    自可乐阅读 1,532评论 0 0
  • 世界末日魏央阅读 80评论 0 0
  • 秋风,秋风,秋风吹皱颜容。 千层万层愁绪,忽高忽低心境。 静心,静心,寒风乍起尤惊。
    风梦阅读 215评论 2 2