准备工作
- 需要准备好K8S集群
- 依赖 Helm v3.x版本
- 需要准备好Ingress，参考 helm部署 ingress-nginx
- 需要准备好Gitlab，参考 Helm部署GitLab 14.0
- 需要准备好镜像仓库，参考Helm部署Harbor 2.3.0
背景
传统的 CICD task节点一般运行在主机上,可以 Docker 安装启动亦或是直接二进制部署启动，在实际的运维中会存在一些痛点问题，比如在处理大量构建task节点无法快速扩容，会遇到单点故障会导致该机器的所有 Runner 都不可用，可以将 GitLab-Runner部署在Kubernetes 集群来动态创建虚拟的 task节点来运行CI 脚本任务，整个流程如图所示：
GitLab-Runner在Kubernetes工作过程概述如下：
- 首先需要在k8s集群部署一个gitlab-runner pod，并注册到GitLab中
- 在Git仓库编写 .gitlab-ci.yml 提交后会触发GitLab分发任务，
- 分配到任务的 gitlab-runner 调用 executor 按照Runner配置定义的默认镜像，或者CI脚本(.gitlab-ci.yml)定义的镜像来启动Task pod，来运行构建CI脚本定义的任务
- 任务运行完毕，或者失败退出后，Task pod销毁
GitLab-Runner的部署
-
同步海外源镜像
在国内环境部署应用，经常因为获取国外源站容器镜像超时，导致部署失败，可以提前将容器镜像同步到本地镜像仓库中，以自有镜像仓库 harbor.onwalk.net/pts 为例，login仓库，执行命令： docker login harbor.onwalk.net/pts 需要同步镜像列表如下：
docker.io/docker:19.03
docker.io/docker:19.03.12-dind
registry.gitlab.com/gitlab-org/gitlab-runner/gitlab-runner-helper:x86_64-3b6f852e
这里用到了docker in docker 的方式来实现在容器中构建容器镜像，其中
- docker:19.03 是用来运行docker命令
- docker:19.03.12-dind 是用来在Task pod中启动dockerd服务
关于docker pull tag push 操作可以参考：
1.https://docs.docker.com/engine/reference/commandline/pull/
2.https://docs.docker.com/engine/reference/commandline/tag/
3.https://docs.docker.com/engine/reference/commandline/push/
-
创建 imagePullSecrets
创建容器集群访问仓库地址 harbor.onwalk.net/pts ，拉取镜像需要的 secret
kubectl create namespace gitlab
kubectl create secret docker-registry registry-secret-name \
--namespace=db \
--docker-server=harbor.onwalk.net/pts \
--docker-username='xxxxxx' \
--docker-password='xxxxxx'
-
添加 Helm仓库
这里选用BitNami提供的chart仓库
helm repo add gitlab https://charts.gitlab.io/
helm repo update
-
定义 gitlab-runner 配置，完成部署
登陆Gitlab 打开 menu-> admin -> runners 记录下右侧的
- Register the runner with this URL：xxxx
- And this registration token：xxxx
cat > gitlab-runner-value.yaml << EOF
enabled: true
privileged: true
rbac:
create: true
clusterWideAccess: true
imagePullSecrets:
- name: registry-secret-name
image: harbor.onwalk.net/pts/gitlab-runner:alpine-v14.0.0
gitlabUrl: https://gitlab.onwalk.net
runnerRegistrationToken: vuAg5bjxKYp2bbzk26JU
runners:
executor: "kubernetes"
config: |
[[runners]]
[runners.kubernetes]
image = "harbor.onwalk.net/pts/docker:19.03"
privileged = true
[[runners.kubernetes.services]]
name = "harbor.onwalk.net/pts/docker:19.03.12-dind"
alias = "docker"
helpers:
image: "harbor.onwalk.net/pts/gitlab-runner-helper:x86_64-3b6f852e"
EOF
helm upgrade --install ci-runner gitlab/gitlab-runner -f gitlab-runner-value.yaml -n gitlab
gitlab-runner-value.yaml 中关键配置说明如下：
- Rbac. create: true 权限需要打开
- Rbac. clusterWideAccess: true 权限需要打开
- runners.executor: "kubernetes" 这需要定义executor 是kubernetes
- runners.kubernetes 是默认的executor，这里使用docker:19.03作为基础镜像
- runners.kubernetes.services 是定义executor中的service 这里使用docker:19.03.12-dind作为基础镜像，服务别名定义为docker，使用DocerInDocker方式构建镜像 .gitlab-ci.yml 需要引用
Gitlab-runner 部署完毕后，会在Gitlab runner管理页面看到：
创建 CI pipeline 配置
- 在Git仓库新建一个 .gitlab-ci.yml 提交即可触发 CI 任务，一个简单示例如下：
stages:
- build-push
build-push-job:
stage: build-push
variables:
DOCKER_HOST: tcp://docker:2375
DOCKER_TLS_CERTDIR: ""
DOCKER_DRIVER: overlay2
script:
- docker build --network host -t $CI_PROJECT_NAME:$CI_PIPELINE_ID .
- docker login -u admin -p passwdxxx harbor.onwalk.net/pts
- docker tag $CI_PROJECT_NAME:$CI_PIPELINE_ID harbor.onwalk.net/pts/$CI_PROJECT_NAME:$CI_PIPELINE_ID
- docker push harbor.onwalk.net/pts/$CI_PROJECT_NAME:$CI_PIPELINE_ID
部分配置参考说明，在build-push-job中，引用了 gitlab-runner 配置文件中 runners.kubernetes.services 定义的 docker服务，可以完成 docker 构建镜像，推送到镜像仓库等操作
- 构建成功的任务如图所示：
参考文档
https://docs.gitlab.com/runner/install/kubernetes.html
https://docs.gitlab.com/runner/executors/kubernetes.html
https://docs.gitlab.com/ee/ci/docker/using_docker_build.html#use-docker-socket-binding
