基于DC/OS建立分布式机器学习系统

之前基于ps-lite实现了word2vec。下一步就是让这个算法能够分布式的跑起来。最简单的分布式方案大概是如下几步:把二进制文件copy到你要跑的机器上。
把每个进程需要读的数据文件copy到相应的地方。

  1. 启动scheduler。
  2. 启动server。
  3. 启动worker。

当然,这一切都可以用一个脚本基于SSH来实现。但是会遇到几个问题:

  1. 你要跑的机器上有没有足够的CPU和内存资源。
  2. 你和别人的程序共同依赖了同一个动态库的不同版本。
  3. 你跑的过程中,你的进程被别人不小心kill掉了。
  4. 原来启动scheduler的机器IP换了,woker和server都要修改他们依赖的scheduler的地址。
  5. 新增加了一批机器,可以跑更多的进程了。
  6. 每次都要copy数据文件,每个进程读不同的文件。
  7. ......

为了解决上面的问题,你需要3个东西:

  1. 分布式的操作系统,来管理每台机器的CPU和内存。
  2. 分布式文件系统解决文件的存储和读写。
  3. 虚拟机系统来解决不同项目的不同版本的依赖 (当然你可以通过给每个程序都做一个单独的依赖库的目录,但如果依赖特别复杂,甚至是系统的某个底层依赖不同,就比较麻烦)。

而DCOS就是为了解决1,3而设计的。他是mesos+marathon+docker(其实DCOS是一个基于mesos的分布式操作系统,marathon,docker只是他的组件)。

  1. mesos负责分布式的CPU和内存管理。
  2. marathon是基于mesos的封装,提供rest API来使用mesos管理进程。
  3. docker是一个虚拟机系统来保证不同人的程序所依赖的版本不会冲突。

下面详细介绍如何将ps-lite跑在DCOS上。ps-lite有3种类型的服务:

  1. worker: 负责读取训练数据,更新参数。
  2. server:负责存储参数,worker本地的参数会定时和server同步。
  3. scheduler:负责服务发现,worker和server通过scheduler才知道各自在哪里。同时也负责worker和server的进程同步。比如要同时开始工作。只有一台。他的IP和端口事先需要知道,并通过环境变量在启动时告诉worker和server。

因为同一台宿主机上可能会启动多个worker和server。所以worker和server工作的端口不能事先指定,只能随机使用没有被占用的端口。
之前很多集成ps-lite的分布式系统时,都只解决了worker和server的分布式问题(比如用yarn来调度worker和server),而scheduler是找了一台机器单独部署的,这样scheduler的IP/端口事先就能知道并告诉worker和server。但是我希望把scheduler也启动在分布式系统中,方法如下:
将scheduler的任务命名为 sch,并在marathon中启动。同时指定一个端口(比如10000)。并且让docker使用HOST网络模式(用HOST模式是因为性能比较好,而ps-lite又是个网络性能要求很高的应用),且绑定到10000端口。这时,利用mesos-dns, scheduler会自动被赋予一个 sch.marathon.mesos 的域名,然后通过环境变量告诉worker和server。
worker和server原来会随机找端口。需要改成启动时docker被分配随机可用端口,并通过环境变量传给worker/server,然后worker/server绑定该端口。marathon提供了$PORT的环境变量来完成这个任务。

搞定服务发现,剩下就是分布式文件系统了。最简单可以用moosefs,然后mount到每台mesos-slave的机器。

<code>
{
"id": "/sw2vscheduler",
"cmd": null,
"cpus": 1,
"mem": 128,
"disk": 0,
"instances": 1,
"container": {
"type": "DOCKER",
"volumes": [],
"docker": {
"image": "registry.aliyuncs.com/xlvector/sw2v",
"network": "HOST",
"privileged": false,
"parameters": [],
"forcePullImage": true
}
},
"env": {
"LD_LIBRARY_PATH": "/tmp/sw2v/ps-lite/deps/lib",
"DMLC_PS_ROOT_URI": "sw2vscheduler.marathon.mesos",
"DMLC_NUM_WORKER": "4",
"DMLC_ROLE": "scheduler",
"DMLC_NUM_SERVER": "1",
"DMLC_PS_ROOT_PORT": "18001"
},
"portDefinitions": [
{
"port": 18001,
"protocol": "tcp",
"labels": {}
}
]
}

{
"id": "/sw2vserver",
"cmd": null,
"cpus": 1,
"mem": 1200,
"disk": 0,
"instances": 1,
"container": {
"type": "DOCKER",
"volumes": [],
"docker": {
"image": "registry.aliyuncs.com/xlvector/sw2v",
"network": "HOST",
"privileged": false,
"parameters": [],
"forcePullImage": true
}
},
"env": {
"LD_LIBRARY_PATH": "/tmp/sw2v/ps-lite/deps/lib",
"DMLC_PS_ROOT_URI": "sw2vscheduler.marathon.mesos",
"DMLC_NUM_WORKER": "4",
"DMLC_ROLE": "server",
"DMLC_NUM_SERVER": "1",
"SW2V_DATA": "/mnt/dcos/text8",
"DMLC_PS_ROOT_PORT": "18001"
},
"portDefinitions": [
{
"port": 10004,
"protocol": "tcp",
"labels": {}
}
]
}

{
"id": "/sw2vworker",
"cmd": null,
"cpus": 1,
"mem": 128,
"disk": 0,
"instances": 4,
"container": {
"type": "DOCKER",
"volumes": [
{
"containerPath": "/mnt/dcos",
"hostPath": "/mnt/dcos",
"mode": "RO"
}
],
"docker": {
"image": "registry.aliyuncs.com/xlvector/sw2v",
"network": "HOST",
"privileged": false,
"parameters": [],
"forcePullImage": true
}
},
"env": {
"LD_LIBRARY_PATH": "/tmp/sw2v/ps-lite/deps/lib",
"DMLC_PS_ROOT_URI": "sw2vscheduler.marathon.mesos",
"DMLC_NUM_WORKER": "4",
"DMLC_ROLE": "worker",
"DMLC_NUM_SERVER": "1",
"SW2V_DATA": "/mnt/dcos/text8",
"DMLC_PS_ROOT_PORT": "18001"
},
"portDefinitions": [
{
"port": 10003,
"protocol": "tcp",
"labels": {}
}
]
}
</code>

最后说一下,整个工作是在青云上搞定的。一共买了3台服务器,centos7操作系统,每台4核4G内存,1台做master,2台做slave。总共花了200多吧(实验期间因为要带孩子,大部分时间机器处于闲置状态)。另外,阿里云的docker加速服务和docker构建服务不错。Docker的镜像在 registry.aliyuncs.com/xlvector/sw2v。所有的代码在 https://github.com/xlvector/sw2v
目前这只是一个验证性质的工作,还有如下问题:
moosefs做为文件系统并不能保证所有的worker都只从local读文件。这里读文件的性能可能有问题。
marathon是个长时服务的系统,而离线训练是定时任务。目前mesos有chronos的定时任务框架,但不幸的是chronos和mesos-dns集成的似乎有问题。如果有同学有这方面的经验,可以在评论中赐教!不过基于marathon的好处是可以做online learning的服务。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容

  • 前两篇东西,我们分别介绍了Mesos和Dockers的安装和使用。在《Mesos实战》这篇的结尾,我说过将会介绍如...
    燕京博士阅读 1,233评论 0 2
  • 【摘要】虽然 Docker 和 Mesos 已成为不折不扣的 Buzzwords ,但是对于大部分人来说它们仍然是...
    OneAPM阅读 955评论 0 14
  • 一. 为什么希望使用容器来作为深度学习系统的调度单元 容器拉取/启动快速。隔离资源效果好。抽象来看,可以将容器的i...
    skywalker阅读 3,406评论 0 6
  • 首先我们的问题是:产品包含了大量的服务,并且服务之间存在复杂的依赖关系,以拓扑的形式运行并相互协作,部署的时候需要...
    墨弈阅读 2,855评论 0 50
  • 周二上稀土案和15条案例辩论课 同学们分成二对二辩论,关于加入议定书与WTO协定关系,以及议定书解释方面的辩论。意...
    冯雪薇阅读 189评论 0 0