DC/OS Local Persistent Volumes

MESOS 本地持久化存储类型:

  1. root,最基本的存储资源,默认是mesos agent工作路径的存储资源。

    • 应用共享式使用。

    • 在创建应用的同时,会在/var/lib/mesos/slave/volumes目录下创建应用的存储目录。

    • agent上报root类型存储2G。

        [
          {
            "name" : "disk",
            "type" : "SCALAR",
            "scalar" : { "value" : 2048 }
          }
        ]
    
  2. path,作为附加存储资源,可以将整块磁盘,通过目录存储的方式进行划分。用于日志存储、备份,用于无性能要求的存储。

    • 应用共享式使用。

    • 在创建应用的同时,会在path目录下创建应用的存储目录。

    • 如 mount /dev/sdb /mnt && mkdir /mnt/data, /dev/sdb 是10G,agent上报目录存储资源/mnt/data,使用2G大小。

        [
          {
            "name" : "disk",
            "type" : "SCALAR",
            "scalar" : { "value" : 2048 },
            "disk" : {
              "source" : {
                "type" : "PATH",
                "path" : { "root" : "/mnt/data" }
              }
            }
          }
        ]
    
  3. mount,作为附加存储资源,只能整块使用,不能像path类存储一样分割使用。用于database、write-ahead-log(WAL预写式日志),用于有性能要求的存储。

    • 应用独占式使用。

    • 在创建应用时,应用使用整个磁盘资源,允许有预存在的数据文件/目录,但是当mesos销毁应用时,会删除所有数据

    • 如 mount /dev/sdb /mnt/data, agent上报存储磁盘资源/mnt/data,使用大小2G。

        [
          {
            "name" : "disk",
            "type" : "SCALAR",
            "scalar" : { "value" : 2048 },
            "disk" : {
              "source" : {
                "type" : "MOUNT",
                "mount" : { "root" : "/mnt/data" }
              }
            }
          }
        ]
    

Marathon docker应用使用local persistent volume示例

Marathon对于这几种Persistent Volume的使用区分,主要是通过persistent.type来控制的。

操作流程:

1. marathon创建应用
2. 查看应用mount信息
3. 创建tmp.txt
4. 重启应用,查看tmp.txt
5. 查看应用的本地存储目录

root

创建marathon 应用

{
  "id": "/cwc/test/test-root",
  "instances": 1,
  "portDefinitions": [],
  "container": {
    "type": "DOCKER",
    "docker": {
      "image": "busybox"
    },
    "volumes": [
      {
        "persistent": {
          "size": 100
        },
        "mode": "RW",
        "containerPath": "mydata"
      },
      {
        "containerPath": "/mydata",
        "hostPath": "mydata",
        "mode": "RW"
      }
    ]
  },
  "cpus": 0.1,
  "mem": 128,
  "requirePorts": false,
  "cmd": "tail -f /dev/null",
  "residency": {
    "relaunchEscalationTimeoutSeconds": 10,
    "taskLostBehavior": "WAIT_FOREVER"
  }
}

这时候marathon随机选取了一个主机去部署应用,以后与这个应用相关的所有操作都只在这个主机上运行。
可以看到

  1. 应用容器内存储目录 /mydata

  2. 主机存储目录/var/lib/mesos/slave/volumes/roles/slave_public/cwc_test_test-root#mydata#743b88a7-8e17-11e7-b490-b6a91729f427

  3. 重启应用数据不变

  4. 重启agent,应用自动恢复,数据不变

  5. 应用销毁,数据消失

path

marathon 应用

{
  "id": "/cwc/test/test-path",
  "instances": 1,
  "portDefinitions": [],
  "container": {
    "type": "DOCKER",
    "docker": {
      "image": "busybox",
      "network": "HOST"
    },
    "volumes": [
      {
        "persistent": {
          "size": 100,
          "type": "path"
        },
        "mode": "RW",
        "containerPath": "mydata"
      },
      {
        "containerPath": "/mydata",
        "hostPath": "mydata",
        "mode": "RW"
      }
    ]
  },
  "cpus": 0.1,
  "mem": 128,
  "requirePorts": false,
  "cmd": "tail -f /dev/null",
  "residency": {
    "relaunchEscalationTimeoutSeconds": 10,
    "taskLostBehavior": "WAIT_FOREVER"
  }
}

这时候marathon随机选取了一个主机去部署应用,以后与这个应用相关的所有操作都只在这个主机上运行。
可以看到

  1. 应用容器内存储目录 /mydata

  2. 主机存储目录/mnt/data/volumes/roles/slave_public/cwc_test_test-path#mydata#8f2d2ba9-8e1c-11e7-b490-b6a91729f427/

  3. 重启应用数据不变

  4. agent重启,数据不变

  5. 应用销毁,数据消失

  6. agent 重新resize path resource,应用启动失败

mount

marathon 应用

{
  "id": "/cwc/test/test-mount",
  "instances": 1,
  "portDefinitions": [],
  "container": {
    "type": "DOCKER",
    "docker": {
      "image": "busybox"
    },
    "volumes": [
      {
        "persistent": {
          "size": 100,
          "type": "mount"
        },
        "mode": "RW",
        "containerPath": "mydata"
      },
      {
        "containerPath": "/mydata",
        "hostPath": "mydata",
        "mode": "RW"
      }
    ]
  },
  "cpus": 0.1,
  "mem": 128,
  "requirePorts": false,
  "cmd": "tail -f /dev/null",
  "constraints": [
    [
      "hostname",
      "LIKE",
      "192.168.131.4"
    ]
  ],
  "residency": {
    "relaunchEscalationTimeoutSeconds": 10,
    "taskLostBehavior": "WAIT_FOREVER"
  }
}
  1. 应用容器内存储目录 /mydata

  2. 主机存储目录/dcos/volume0/

  3. 重启应用数据存在

  4. agent重启,数据存在

  5. 应用销毁,数据消失

  6. agent 重新resize mount resource,应用启动失败

Marathon 使用Host Volume

{
    "type": "DOCKER",
    "volumes": [
        {
            "mode": "RO",
            "container_path": "/etc/localtime",
            "host_path": "/etc/localtime"
        },
        {
            "mode": "RW",
            "container_path": "/tmp",
            "host_path": "/tmp"
        }
    ],
    "docker": {
        "image": "busybox",
        "network": "HOST",
        "privileged": false,
        "parameters": [
            {
                "key": "label",
                "value": "MESOS_TASK_ID=cwc_test-local-path.75db9606-97d6-11e7-aaa2-36ce7409b167"
            }
        ],
        "force_pull_image": false
    }
}

资料检索

mesos multiple-disk

dcos persistent volume

marathon persistent volumes

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,716评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,558评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,431评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,127评论 0 209
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,511评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,692评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,915评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,664评论 0 202
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,412评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,616评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,105评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,424评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,098评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,096评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,869评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,748评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,641评论 2 271

推荐阅读更多精彩内容

  • 之前基于ps-lite实现了word2vec。下一步就是让这个算法能够分布式的跑起来。最简单的分布式方案大概是如下...
    xlvector阅读 1,256评论 1 7
  • 如何使用一个PaaS集群,其实就是如何使用它的网络、存储,这两点关系着应用的部署。DC/OS集群中,网络分为Hos...
    rm_rf阅读 756评论 0 0
  • 摘要 为了满足渲染、基因测序等计算密集型服务的需求,UCloud 已推出了“计算工厂”产品,让用户可以快速创建大量...
    UCloud云计算阅读 703评论 0 1
  • 刚看了个故事,大概内容是这样:某公司总裁,才华横溢,管理却十分独裁。手下主管十分不满,个个牢骚满腹,离心离...
    完美的小玉桃阅读 217评论 0 0
  • 我喜欢写作。 以前上学的时候,喜欢写日记,虽然已记不清写了什么;现如今,忙碌的生活,已很久没有拿起笔,写写内心的感...
    黄金屋916阅读 124评论 0 0