基于portmap CNI插件来实现端口映射

前言

公司早期的K8S集群是基于flannel分配网段后,并没有在kubelet中启动cni插件功能,而是利用docker本身的网络管理功能,如下所示dockerd的启动命令为:

./dockerd --bip=10.236.51.1/25 ...

这利用了docker的自身的网络管理能力,我们知道docker本身是具备端口映射的功能,可以把容器中的服务通过端口映射的方式,如下所示,我们启动一个容器,把容器中的80端口映射到宿主机的8000端口上:

docker run -p 8000:80 -it ubuntu /bin/bash

有些老业务为了让容器与外部系统互通,把容器的端口映射到了宿主机的端口上,通过对宿主机的端口进行管理,来防止容器调度的冲突,这种方式一定层度上解决了业务上的问题。

近期,我们对K8S的网络模型进行了升级,通过自定义的网络CNI插件,实现三层网络模型,可以让容器网络与主机网络系统打通,为了统一K8S集群方便管理,我们需要把一些老的业务迁移到新的K8S集群中来。

我们又不希望管理多个K8S集群,但是新集群中的CNI插件本身,不具备这种端口映射的能力,所以碰到了旧的业务无法迁移的难题。

额外话题:
从这个问题本身来看,其实业务方并没有使用端口映射功能的必要性,既然业务自己管理分配的主机节点和端口号,那么我们完全可以基于Host网络部署Pod来达到相同的目的。
这里我们先不考虑方案替代性上来说,端口映射功能也是一个比较有意思的点,剖析一下如何在我们新的K8S集群中来支撑这种端口映射功能。

K8S中的端口映射

K8S在框架层面是支撑了端口映射的功能,我们可以看看下面这个Pod的定义:

apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  containers:
    - name: nginx
      image: nginx:1.7.9
      ports:
        - containerPort: 80
          hostPort: 8080

这个Pod要求把容器中80端口映射到宿主机的8080端口中,虽然我们能够这样申明,但是究竟能不能做到,就跟我们指定的网络模式有很大关系了。

如果按照我们老集群中,采用None的模式,让docker进程去管理网络,那么docker自身具备这种端口映射的能力,所以他就能够支持,而在我们新集群中应用的时候,发现不能达到目的,映射根本没有完成。

应用CNI portmap插件实现对端口映射的支持

我们首先来看看我们自定义的插件配置:

root@herrypc:/etc/cni/net.d# cat 11-flannel.conf 
{
  "cniVersion": "0.3.0",
  "name": "mynet",
  "type": "flannel",
  "ipMasq": false,
  "delegate": {
    "type": "bridge",
    "forceAddress": false,
    "ipMasq": false,
     "hairpinMode": true,
    "isDefaultGateway": true
  }
}

基础插件自身是不具备端口映射的能力的,所以基于上述配置无法实现端口映射,但是CNI本身支持级联插件的功能,可以在配置中指定portmap作为级联插件来支持端口映射能力。

为了支持级联插件,我们配置不能采用前面的配置格式,而是基于conflist的配置,文件名改为:11-flannel.conflist,内容如下:

root@herrypc:/etc/cni/net.d# cat 11-flannel.conflist
{
  "cniVersion": "0.3.0",
  "name": "mynet",
  "plugins": [
    {
      "type": "flannel",
      "ipMasq": false,
      "delegate": {
         "type": "bridge",
         "forceAddress": false,
         "ipMasq": false,
          "hairpinMode": true,
          "isDefaultGateway": true
         }
      },
      {
        "type": "portmap",
        "capabilities": {"portMappings": true},
        "snat": true
      },
   }
}

推荐阅读更多精彩内容

  • 感恩今天年假结束都开始正常工作了,路上的车没有想象中的那么多,感恩今天出行顺利 感恩哥哥昨晚给我打电话让女儿去试试...
    危志霞阅读 106评论 0 0
  • 1.你生命中所发生的一切,都是你吸引来的。 2.我想什么,我就能得到什么! 3.宇宙中最强有力的法则就是吸引力法则...
    生命心灵阅读 101评论 0 0
  • PC端上面版本转换时如何将CAD导出为DWG格式?PC端上面完成绘制一张CAD图纸文件之后,如果发现使用CAD看图...
    周周周大璇阅读 614评论 0 1
  • 终于有网了 感人 昨天良哥居然在我没有讲话的情况下主动给了我一本草稿纸 开心啊 看来我的人格还是很放光芒的哈哈 和...
    画檐声阅读 70评论 0 0
  • 本书作者安德斯•艾利克森博士,是美国佛罗里达州立大学心理学教授,康拉迪杰出学者。他专注于研究体育、音乐、国际象棋、...
    微凉的露珠阅读 169评论 8 2