概述
在去年 OpenShift 4.1 刚刚出来折腾了好久，坑挺多的，今天安装4.3明显坑少了很多，基本没什么坑，就是基础环境的准备花了挺多时间，做个记录。
- 安装方式是baremetal，我用的是VMware虚拟机，使用的是PXE方式装系统。
安装环境介绍
- 7台机器：
创建一台基础架构节点，我使用rhel7.6；另外创建6台虚拟机，不需要指定系统文件，8C16G100G硬盘。
基础架构节点：主要有负载均衡、Apache、DNS，以及定义集群的相关文件生成和存放的位置。
bootstrap节点：一个引导节点，会临时生成一个kubernetes集群，负责openshift集群的安装，openshift安装好后，最后kubernetes集群会消失，随后这个节点也没用了。
master节点：与ocp3一样。
work节点: 与ocp3一样，不过router相关组件也运行在这上面，没有了infra这种角色的节点。
- 网络
一台基础架构节点：172.31.20.100
一台bootstrap节点：172.31.20.101
三台master节点：172.31.20.102-104
两台worker节点：172.31.20.105-106
网关：172.31.20.254
DNS Server：172.31.0.121
基础架构节点
基础架构节点我使用 GitHub 上一个大神准备工具进行搭建，也供我们参考学习一下如何准备基础架构环境：
https://github.com/RedHatOfficial/ocp4-helpernode
在基础架构节点上安装相关环境
- 下载github代码
注意要使用新版本的ansible，我使用的是2.9.6，否则ansible会报错ssh-key生成的问题。
yum -y install https://dl.fedoraproject.org/pub/epel/epel-release-latest-$(rpm -E %rhel).noarch.rpm
yum -y install ansible git
git clone https://github.com/RedHatOfficial/ocp4-helpernode
cd ocp4-helpernode
- 准备ansible相关文件
cp docs/examples/vars.yaml .
- 修改mac地址等相关参数如下：
---
disk: sda
helper:
name: "helper"
ipaddr: "172.31.20.100"
dns:
domain: "poc.com"
clusterid: "ocp4"
forwarder1: "172.31.0.121"
forwarder2: "8.8.4.4"
dhcp:
router: "172.31.20.254"
bcast: "172.31.20.255"
netmask: "255.255.255.0"
poolstart: "172.31.20.101"
poolend: "172.31.20.109"
ipid: "172.31.20.0"
netmaskid: "255.255.255.0"
bootstrap:
name: "bootstrap"
ipaddr: "172.31.20.101"
macaddr: "00:50:56:b7:fa:e1"
masters:
- name: "master00"
ipaddr: "172.31.20.102"
macaddr: "00:50:56:b7:87:b4"
- name: "master01"
ipaddr: "172.31.20.103"
macaddr: "00:50:56:b7:87:95"
- name: "master02"
ipaddr: "172.31.20.104"
macaddr: "00:50:56:b7:a8:32"
workers:
- name: "worker00"
ipaddr: "172.31.20.105"
macaddr: "00:50:56:b7:db:1e"
- name: "worker01"
ipaddr: "172.31.20.106"
macaddr: "00:50:56:b7:29:74"
- 先下载相关文件基础文件，再导入基础架构节点，否则在执行ansible下载非常慢
ocp_bios: "https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.3/4.3.8/rhcos-4.3.8-x86_64-metal.x86_64.raw.gz"
ocp_initramfs: "https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.3/4.3.8/rhcos-4.3.8-x86_64-installer-initramfs.x86_64.img"
ocp_install_kernel: "https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.3/4.3.8/rhcos-4.3.8-x86_64-installer-kernel-x86_64"
ocp_client: "https://mirror.openshift.com/pub/openshift-v4/clients/ocp/4.3.8/openshift-client-linux-4.3.8.tar.gz"
ocp_installer: "https://mirror.openshift.com/pub/openshift-v4/clients/ocp/4.3.8/openshift-install-linux-4.3.8.tar.gz"
- 将下载好的文件导入的路径，如果没有对应的路径，手动创建。
mkdir -p /var/www/html/install/
mkdir -p /var/lib/tftpboot/rhcos/
cp openshift-client-linux-4.3.8.tar.gz /usr/local/src/openshift-client-linux.tar.gz
cp openshift-install-linux-4.3.8.tar.gz /usr/local/src/openshift-install-linux.tar.gz
cp rhcos-4.3.8-x86_64-metal.x86_64.raw.gz /var/www/html/install/bios.raw.gz
cp rhcos-4.3.8-x86_64-installer-initramfs.x86_64.img /var/lib/tftpboot/rhcos/initramfs.img
cp rhcos-4.3.8-x86_64-installer-kernel-x86_64 /var/lib/tftpboot/rhcos/kernel
- 执行ansible
ansible-playbook -e @vars.yaml tasks/main.yml
- 查看环境的工具使用
/usr/local/bin/helpernodecheck
Usage:
helpernodecheck {dns-masters|dns-workers|dns-etcd|dns-other|install-info|haproxy|services|nfs-info}
- 创建Ignition文件
mkdir ~/ocp4
cd ~/ocp4
mkdir -p ~/.openshift
- 去下载pull-secret文件，然后放到~/.openshift目录下
mkdir -p ~/.openshift
- 查看helper_rsa文件是否存在
现在的ansible会帮助我们创建密钥文件，也可以关闭：
ls -1 ~/.ssh/helper_rsa
- 准备创建install-config文件
cd ~/ocp4
cat <<EOF > install-config.yaml
apiVersion: v1
baseDomain: poc.com
compute:
- hyperthreading: Enabled
name: worker
replicas: 0
controlPlane:
hyperthreading: Enabled
name: master
replicas: 3
metadata:
name: ocp4
networking:
clusterNetworks:
- cidr: 10.254.0.0/16
hostPrefix: 24
networkType: OpenShiftSDN
serviceNetwork:
- 172.30.0.0/16
platform:
none: {}
pullSecret: '$(< ~/.openshift/pull-secret)'
sshKey: '$(< ~/.ssh/helper_rsa.pub)'
EOF
- 创建manifests文件：
openshift-install create manifests
- 将master设置为不可调度
sed -i 's/mastersSchedulable: true/mastersSchedulable: false/g' manifests/cluster-scheduler-02-config.yml
- 创建ignition文件：
openshift-install create ignition-configs
- 放到对应路径：
cp ~/ocp4/*.ign /var/www/html/ignition/
restorecon -vR /var/www/html/
chmod o+r /var/www/html/ignition/*.ign
- 开始安装
openshift-install wait-for bootstrap-complete --log-level debug
漫长的等待，等待的过程中做些啥呢？
- 登录三台虚拟机的console，看看日志它们都在干嘛
- 从基础架构节点登录到bootstrap节点，用下面的命令查看日志，能看到安装过程中的信息：
ssh core@bootstrap
journalctl -b -f -u bootkube.service
- 同理也可以登录master和work节点，用如下命令查看容器和镜像：
sudo podman images
sudo podman ps
sudo crictl ps
sudo crictl images
- 切换为root
sudo su -
安装过程中其实有很多报错，但是那些报错是因为镜像没有拉取到，容器没有起来，对应的服务没有起来导致的报错，只需要等待就可以了，但是前提是得你的网络还不错。
安装结束后
- 准备认证文件
export KUBECONFIG=/root/ocp4/auth/kubeconfig
# 或
cp ~/ocp4/auth/kubeconfig ~/.kube/config
- 查看csr请求
oc get csr
oc get csr --no-headers | awk '{print $1}' | xargs oc adm certificate approve
oc get csr | grep 'system:node'
- 部署nfs storageclass
helpernodecheck nfs-setup
- 将镜像仓库设置为可管理
oc patch configs.imageregistry.operator.openshift.io cluster --type merge --patch '{"spec":{"managementState":"Managed"}}'
- 将镜像仓库以route暴露出去
oc patch configs.imageregistry.operator.openshift.io/cluster --type merge -p '{"spec":{"defaultRoute":true}}'
- 设置镜像仓库的存储为pvc
$ oc edit configs.imageregistry.operator.openshift.io
storage:
pvc:
claim:
- 查看image-registry是否ready：
oc get clusteroperator image-registry
- 查看pvc是否创建：
oc get pvc --all-namespaces
- 拿到集群输出信息去登录：
openshift-install wait-for install-complete
参考链接
https://github.com/RedHatOfficial/ocp4-helpernode/blob/master/docs/quickstart.md
