jenkins 流水线
jenkins 流水线是一套运行于jenkins上的工作流框架，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程编排与可视化。jenkins 流水线通过 groovy 语法定义，以下使用 jenkins pipeline groovy 描述 jenkins 流水线定义文件。
具体可参考官方文档：
https://jenkins.io/zh/doc/book/pipeline/
yaml
yaml 是一种简洁的非标记语言。yaml 以数据为中心，使用空白，缩进，分行组织数据，从而使得表示更加简洁易读。
具体可参考：
http://www.ruanyifeng.com/blog/2016/07/yaml.html
通过自定义 DSL 简化 jenkins 流水线
将 yaml 的简单语法做为自定义 DSL 语法，来简化 jenkins 流水线 groovy 语法。在此基础上抽象 jenkins 流水线公共模块，通过几种配置，形成常用流水线。
根据软件发布环境阶段，抽象构建（build）、测试（test）、联调（mertest ）和 生产（prod）等 4个 阶段。根据 4个 阶段抽象如下几个公共模块：
- 代码编译
- 代码规范检查
- 单元测试
- 用例测试
- 部署
通过组装以上公共模块，形成半自由流水线。所谓半自由流水线是指流水线在固定流程上保留一部分自由修改功能。下面以一个 default 配置简述半自由流水线。
1、整体架构图
用以下图简单描述整体架构，真正的流程可能还稍复杂，但不影响下面描述。
用户通过定义简单 yaml ，server 通过将 yaml 与 default 配置生成 jenkins pipeline groovy 文件，其中 groovy 文件描述了 jenkins pipeline 整个执行流程。
2、通过 yaml 定义流水线
用以下 yaml 格式，来定义 default 流水线。该流水线分为全局、build、test、mertest 和 prod等五部分。全局包括应用全局参数，build 包括代码编译、代码规范检查和单元测试，test 包括部署和用例测试，mertest 包括部署和用例测试，prod 包括部署。
default 流水线是个固定流水线，先后的顺序已经固定，但是部分阶段可选，比如 test 可以跳过部署，又比如 mertest 可以整体跳过等，因此这种流水线就是半自由流水线。
半自由流水线即符合公司现有流程，又简化了用户使用。还有一部分自由度，可以通过跳过部分步骤来适应其它项目，或索性通过新建配置（参考 default 配置）生成另外一种半自由流水线来适应更多项目。
configName: default
application: someapp
language: java
description: huifu devops server
gitURL: git@172.31.13.131:devops/someapp.git
packageType: jar
build:
# ------可选
compiler:
cmd: mvn clean install -U -f pom.xml -Pundertow package -Dmaven.test.skip=true
check:
cmd: mvn -f pom.xml pmd:pmd
unittest:
cmd: mvn -f pom.xml cobertura:cobertura-integration-test
# ------
test:
# ------可选
deploy:
area: aliyun #部署区域
appNames: someapp #应用名，对应 war 或 jar 包名
ips: 192.168.16.19 #服务器 ip
serverUsername: someapp #服务器用户名
# ------
casetest:
ip: 192.168.25.19
# ------可选
mertest:
# ------可选
compiler:
cmd: mvn clean install -U -f pom.xml -Pundertow package -Dmaven.test.skip=true
# ------
deploy:
area: aliyun
appNames: someapp
ips: 192.168.25.19,192.168.25.20
serverUsername: someapp
casetest:
ip: 192.168.25.19
prod:
# ------可选
compiler:
cmd: mvn clean install -U -f pom.xml -Pundertow package -Dmaven.test.skip=true
# ------
delivery_type: deploy
deploy:
area: aliyun
appNames: someapp
ips: 172.19.30.19
serverUsername: someapp
3、jenkins pipeline groovy
groovy 文件描述了 jenkins pipeline 整个执行流程，是 jenkins pipeline DSL 静态描述，有特定语法，对一般用户并不友好。为了用户无需关注 groovy 语法，通过开放出 yaml 形式 DSL，供用户简单使用。
根据 build、test、mertest 和 prod 等环境，分别对应 jenkins pipeline 4个 任务，任务内部流程控制通过 jenkins 完成，任务间流程通过 server 调度实现，从而实现 ci cd 一整条流水线。
优缺点
1、优点：
- 通过 yaml DSL，用户无需使用 groovy 语法，简化 jenkins pipeline 定义
- 通过新建配置，可以生成新的一种半自由流水线，适应现有项目 ci cd 流程
2、缺点
- server 维护代码编译、代码规范检查、单元测试、用例测试和部署等 5个 公共模块，公共模块根据部署环境、部署二进制类型、部署区域和 ci、cd等，因此会有数倍个公共模块，公共模块维护成本太高
- yaml 修改需要重新生成 jenkins pipeline groovy 文件，无法做到流水线动态化运行
未来展望
针对以上缺点，或许可以通过以下新技术解决：
- 针对公共模块维护成本高的的问题，利用 docker、kubernetes 等容器化技术，简化代码编译和部署等公用模块逻辑，减少公共模块数量，还能减少 yaml 参数等，从而更简化用户定义
- 针对无法动态化运行流水线，可以利用 jenkins 共享库（shared library），将公共模块抽象到 jenkins 共享库，jenkins 共享库可以参考 https://jenkins.io/zh/doc/book/pipeline/shared-libraries/
- default 流水线预计能适应公司大部分项目，但如果新增公用模块，比如灰度发布，需要新增配置来生成新的半自由流水线
