准备工作
- 满足安装Doker项目所需的要求，比如64位Linux操作系统、3.10及以上的内核版本
- x86或者ARM架构均可；
- 机器之间网络互通，这是将来容器之间网络互通的前提
- 有外网访问权限，因为需要拉取镜像
- 能够访问grc.io、quay.op这两个docker registry。因为有小部分镜像需要在这里拉取（首先你得有个梯子，以下操作我会使用适应不用不梯子的环境）
- 单机可用资源建议2核CPU、8GB内存或以上
- 30GB或以上的可用磁盘空间，这主要是留给Docker镜像和日志文件用的
系统初始化
- 关闭系统的selinux
- 安装iptables，并清空iptables的列表。停用firewalld
- 安装docker-ce
- 关闭交换分区
- 把hostname的解析添加到hosts中
kubeadm初始化
配置仓库地址：
这里使用阿里云的镜像仓库除了能下载安装，还能提高速度。
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
> [kubernetes]
> name=Kubernetes
> baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
> enabled=1
> gpgcheck=1
> repo_gpgcheck=1
> gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
> EOF
安装基础工具
安装cni网络工具、kubeadm、kubectl
# yum install -y kubernetes-cni kubelet kubeadm kubectl --skip-broken
在这里安装kubectl的时候一定要注意版本问题和我们的镜像必须版本必须相同kubelet --version
配置kubeadm的yaml文件
完整内容如下：
apiVersion: kubeadm.k8s.io/v1alpha1
kubernetesVersion: "v1.11.3"
apiServerCertSANs: []
imageRepository: "registry.aliyuncs.com/google_containers"
controllerManagerExtraArgs:
horizontal-pod-autoscaler-use-rest-clients: "true"
horizontal-pod-autoscaler-sync-period: "10s"
node-monitor-grace-period: "10s"
feature-gates: "AllAlpha=true"
enable-dynamic-provisioning: "true"
apiServerExtraArgs:
runtime-config: "api/all=true"
feature-gates: "AllAlpha=true"
networking:
podSubnet: "10.244.0.0/16"
拉取镜像
kubeadm --config kubeadm.yml config images pull
转换镜像的tag
docker tag registry.aliyuncs.com/google_containers/pause:3.1 k8s.gcr.io/pause:3.1
虽然上面设置了镜像仓库地址为阿里云的，但是使用kubeadm
配置说明
horizontal-pod-autoscaler-use-rest-clients: "true"
这意味着，将来部署的kube-controller-manager能够使用自定义资源（Custom Metrics）进行自动水平扩展。
kubernetesVersion: "v1.11.3"
表示部署kubernetes的版本好。默认不做配置或者配置为stable在没有梯子的情况下是不可取的，因为kubeadm在初始化的时候会访问
https://dl.k8s.io/release/stable.txt或者https://storage.googleapis.com/kubernetes-release/release/stable.txt
来获取最新的kubernetes的版本。我在部署的时候最新的是v1.11.3，所以我就直接指定了。
运行kubeadm初始化
kubeadm init --config kubeadm.yml --ignore-preflight-errors all
这里是需要比较长的等待时间的，虽然使用的是阿里云的镜像仓库但是还是有很多的镜像需要拉取
这个里有一个Cgroup Driver的问题，默认都是cgroup，如果需要改成systemd，kubeadm会默认配合docker的Cgroup。
修改docker的Cgroup driver
# cat /etc/docker/daemon.json
{
"registry-mirrors": ["http://a9c771fc.m.daocloud.io"],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "journald",
"log-opts": {
"tag": "{{.ImageName}}/{{.Name}}/{{.ID}}"
}
}
"exec-opts": ["native.cgroupdriver=systemd"],就是设置为systemd了
在需要使用kubectl的用户下执行如下操作
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
查看节点情况
# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master1 NotReady master 3m v1.11.3
可以看到master1的节点处于NotReady状态
在调试 Kubernetes 集群时，最重要的手段就是用 kubectl describe 来查看这个节点（Node）对象的详细信息、状态和事件（Event），我们来试一下：
kubectl describe node master1
可以很清晰的看到一行错误
.....
Ready False Thu, 20 Sep 2018 10:04:51 +0800 Thu, 20 Sep 2018 09:48:58 +0800 KubeletNotReady runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized
.....
另外，可以通过kubectl检查这个节点上各个系统Pod状态，其中，kube-system是kubernetes项目预留的Pod的工作空间（NameSpace，注意它并不是Linux NameSpace，
他只是kubernetes划分不通工作空间的单位）：
# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-54b65f9c9c-cp2p2 0/1 Pending 0 33m
coredns-54b65f9c9c-glt9t 0/1 Pending 0 33m
etcd-master1 1/1 Running 0 34m
kube-apiserver-master1 1/1 Running 0 33m
kube-controller-manager-master1 1/1 Running 0 33m
kube-proxy-tprpx 0/1 Pending 0 33m
kube-scheduler-master1 1/1 Running 0 33m
可以看到，CoreDNS、kube-controller-manager等依赖于网络的Pod都处于Pending状态，即调度失败。这当然是符合预期的：因为这个Master节点的网络尚未就绪。
部署网络插件
在kubernetes项目"一切皆容器，部署网络插件也是非常简单的。
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
添加cni网络配置
mkdir -p /etc/cni/net.d
cat >/etc/cni/net.d/10-mynet.conf <<-EOF
{
"cniVersion": "0.3.0",
"name": "mynet",
"type": "bridge",
"bridge": "cni0",
"isGateway": true,
"ipMasq": true,
"ipam": {
"type": "host-local",
"subnet": "10.244.0.0/16",
"routes": [
{"dst": "0.0.0.0/0"}
]
}
}
EOF
cat >/etc/cni/net.d/99-loopback.conf <<-EOF
{
"cniVersion": "0.3.0",
"type": "loopback"
}
EOF
查看kube-system的命名空间
# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-54b65f9c9c-cp2p2 1/1 Running 0 1h
coredns-54b65f9c9c-glt9t 1/1 Running 0 1h
etcd-master1 1/1 Running 0 1h
kube-apiserver-master1 1/1 Running 0 1h
kube-controller-manager-master1 1/1 Running 0 1h
kube-flannel-ds-amd64-48pd9 1/1 Running 0 31m
kube-proxy-tprpx 1/1 Running 0 1h
kube-scheduler-master1 1/1 Running 0 1h
可以看到，所有的系统Pod都成功启动了，而刚刚部署的flannel网络插件则在kube-system下面新建了一个名叫kube-flannel-ds-amd64-48pd9的Pod，一般来说，这些Pod就是容器网络插件在每个节点上的控制组件
kubernetes支持容器网络插件，使用的是一个名叫CNI的通用接口，他也是当前容器网络的实施标准，市面上的所有容器网络开源项目都可以通过CNI接入Kubernetes，比如Flannel、Calico、Canal、Romana等等，
他们的部署方式也是类似的"一键部署"。
至此，Kubernetes的Master节点就部署完成了。如果你需要一个单节点的Kubernetes，现在就可以使用了。但是默认情况下Kubernetes的Master节点是不能运行Pod，所以还需要额外做一个小操作：
kubectl taint nodes --all node-role.kubernetes.io/master-
Kubernetes 的 Worker 节点跟 Master 节点几乎是相同的，它们运行着的都是一个 kubelet 组件。唯一的区别在于，在 kubeadm init 的过程中，kubelet 启动后，Master 节点上还会自动运行 kube-apiserver、kube-scheduler、kube-controller-manger 这三个系统 Pod。
所以，相比之下，部署 Worker 节点反而是最简单的，只需要两步即可完成。
第一步，在所有 Worker 节点上执行“安装 kubeadm 和 Docker”一节的所有步骤。
第二步，执行部署Master节点时生成的kubeadm join
kubeadm join 10.0.1.211:6443 --token x13fa4.kqat9qvs1g7inoge --discovery-token-ca-cert-hash sha256:e7c6ee12dcbdd7e262290a8a4ec4c2adb05ac843b8d271ac8ba9ce1de789b6a1
第三步,添加cni网络配置：
mkdir -p /etc/cni/net.d
cat >/etc/cni/net.d/10-mynet.conf <<-EOF
{
"cniVersion": "0.3.0",
"name": "mynet",
"type": "bridge",
"bridge": "cni0",
"isGateway": true,
"ipMasq": true,
"ipam": {
"type": "host-local",
"subnet": "10.244.0.0/16",
"routes": [
{"dst": "0.0.0.0/0"}
]
}
}
EOF
cat >/etc/cni/net.d/99-loopback.conf <<-EOF
{
"cniVersion": "0.3.0",
"type": "loopback"
}
EOF
如果忘记了token，那么可以创建一个新的token来加入，最好还是保存下来吧
kubeadm token create --print-join-command
