Kubernetes+flannnel部署

一、kubernetes(以下简称k8s)和相关服务介绍

1.etcd:

  • key-value键值存储数据库,用来存储kubernetes的信息。

2.flannel:

  • Flannel 是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络(Overlay Network)工具,需要另外下载部署。我们知道当我们启动 Docker 后会有一个用于和容器进行交互的 IP 地址,如果不去管理的话可能这个 IP 地址在各个机器上是一样的,并且仅限于在本机上进行通信,无法访问到其他机器上的 Docker 容器。Flannel 的目的就是为集群中的所有节点重新规划 IP 地址的使用规则,从而使得不同节点上的容器能够获得同属一个内网且不重复的 IP 地址,并让属于不同节点上的容器能够直接通过内网 IP 通信。

3.k8s master 组件:

  • Kubernetes 集群中主要存在两种类型的节点,分别是 master 节点,以及 minion 节点。Minion 节点是实际运行 Docker 容器的节点,负责和节点上运行的 Docker 进行交互,并且提供了代理功能。
  • Master 节点负责对外提供一系列管理集群的 API 接口,并且通过和 Minion 节点交互来实现对集群的操作管理。整体架构图如下:

(1) kubectl

  • 客户端命令行工具,将接受的命令格式化后发送给kube-apiserver,作为整个系统的操作入口。

(2) kube-apiserver

  • 作为整个系统的控制入口,以REST API服务提供接口。用户和 kubernetes 集群交互的入口,封装了核心对象的增删改查操作,提供了 RESTFul 风格的 API 接口,通过 etcd 来实现持久化并维护对象的一致性。

(3) kube-controller-manager

  • 用来执行整个系统中的后台任务,包括节点状态状况、Pod个数、Pods和Service的关联等。主要是用于保证 replicationController 定义的复制数量和实际运行的 pod 数量一致,另外还保证了从 service 到 pod 的映射关系总是最新的。

(4)kube-scheduler

  • 负责节点资源管理,接受来自kube-apiserver创建Pods任务,并分配到某个节点。负责集群资源的调度和管理,例如当有 pod 异常退出需要重新分配机器时,scheduler 通过一定的调度算法从而找到最合适的节点。

4.k8s minion组件 :

(1) kube-proxy

运行在每个计算节点上,负责Pod网络代理。定时从etcd获取到service信息来做相应的策略。运行在 minion 节点,负责为 pod 提供代理功能,会定期从 etcd 获取 service 信息,并根据 service 信息通过修改 iptables 来实现流量转发(最初的版本是直接通过程序提供转发功能,效率较低。),将流量转发到要访问的 pod 所在的节点上去。

(2) kubelet

运行在每个计算节点上,作为agent负责和节点上的 Docker 交互,例如启停容器,监控运行状态等。接受分配该节点的Pods任务及管理容器,周期性获取容器状态,反馈给kube-apiserver。

二、kubernetes 部署

1.安装前工作:

(1)清理其它docker版本和依赖软件:

yum -y remove docker
yum -y remove docker-selinux
yum remove docker-common-1.10.3-46.el7.centos.14.x86_64 -y
yum remove docker-common -y

2.安装k8s master

yum install etcd
yum install kubernetes-master docker
  • 安装kubernetes-node 会自动依赖安装docker,所以可以在kubernetes-master上先安装kubernetes-node,借此安装docker然后在卸载kubernetes-node。

  • etcd配置:

# vim /etc/etcd/etcd.conf  将以下几行进行修改,完成后保存退出。
ETCD_NAME=default
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://10.13.32.223:2379"

ETCD参数说明
重要的参数用途:

—data-dir 指定节点的数据存储目录,这些数据包括节点ID,集群ID,集群初始化配置,Snapshot文件,若未指定—wal-dir,还会存储WAL文件;
—wal-dir 指定节点的was文件的存储目录,若指定了该参数,wal文件会和其他数据文件分开存储。
—name 节点名称
—initial-advertise-peer-urls 告知集群其他节点url.
— listen-peer-urls 监听URL,用于与其他节点通讯
— advertise-client-urls 告知客户端url, 也就是服务的url
— initial-cluster-token 集群的ID
— initial-cluster 集群中所有节点

k8s 配置1:

#vim /etc/kubernetes/apiserver
KUBE_ETCD_SERVERS="--etcd_servers=http://192.168.17.101:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.73.18.0/24"

k8s 配置2:

#vim /etc/kubernetes/controller-manager
KUBE_CONTROLLER_MANAGER_ARGS="--node-monitor-grace-period=10s --pod-eviction-timeout=10s"

k8s 配置3:

#vim /etc/kubernetes/config
 KUBE_MASTER="--master=http://192.168.17.101:8080"

启动顺序:

systemctl enable etcd
systemctl enable kube-apiserver kube-scheduler kube-controller-manager
systemctl start etcd
systemctl start kube-apiserverkube-schedulerkube-controller-manager

最后还要执行命令:

etcdctl mk/coreos.com/network/config'{"Network": “192.168.1.0/24" }'

这个不设置会导致后面flanneld起不来,进而导致docker启动不了

3.安装k8s minion:

yum install flannel
yum install kubernetes-node

docker会自动安装
安装kubernetes-node 会自动依赖安装docker)
安装flannel:(k8s master 可以用不用安装)
Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务,简单来说,它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。

  • flannel配置2:
#vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://10.13.32.223:2379"
FLANNEL_ETCD_KEY="/coreos.com/network"
  • k8s minion配置1:
    kubernetes node配置文件进行修改:
#vim /etc/kubernetes/config
KUBE_MASTER="--master=http://10.13.32.223:8080"
  • k8s minion配置2:
#vim /etc/kubernetes/kubelet`
KUBELET_HOSTNAME="--hostname_override=10.73.18.81"
KUBELET_API_SERVER="--api_servers=http://10.13.32.223:8080"
启动顺序:(非常关键)
  • 先启动docker:
systemctl enable docker
systemctl start docker
  • 再启动flannel:
systemctl enable flanneld.service
systemctl restart flanneld.service
  • 重启docker:
systemctl restart docker
  • 启动kubelete 和kube-proxy服务:
systemctl enable kubelet kube-proxy
systemctl start kubelet kube-proxy

三、注意事项

1.etcd 需要初始化网段信息

安装完etcd服务后,还要执行命令:

etcdctl mk/coreos.com/network/config'{"Network": “192.168.1.0/24" }'
  • 因为flannel 会依赖etcd的容器网段信息,这个不设置会导致后面flanneld起不来,进而导致docker启动不了。

2.etcd 集群模式启动配置

/usr/lib/systemd/system/etcd.service文件中通过systemd启动:

  • docker 和k8s minion(安装命令为yum install kubernetes-node) 会有依赖关系,安装最好通过yum 命令来安装让其自动解决。
  • 或者通过二进制文件进行安装,即从git-hub上下载编译好的k8s,把k8s组件的各个二进制文件拷贝到对应的master和minion上,即可使用。

推荐阅读更多精彩内容