工具选型
image.png
一期使用FTP，由于Jfrog企业版收费，FTP目前已完全满足需求。
架构设计
image.png
目前Jenkins服务由一个Matser和一个Agent组成。
Jenkins Agent1 同时作为SaltStack Master角色。
流程图
image.png
jenkins调用SaltStack
jenkins调用SaltStack脚本，需传入3个参数：
SaltStack ID：匹配部署目标机器，可正则匹配。
SaltStack脚本编号：SaltStack为每一个服务编写唯一脚本，并分配一个编号，ftp路径写在目录中。
版本标签：与ftp包匹配，jenkins触发CI/CD时传入版本标签变量。
在Agent1上执行SaltStack脚本执行自动化部署动作。
回滚：可直接指定版本标签触发自动化部署。
发布目录存储规范
选择FTP存储，后续如果有好的版本包管理工具，再行评估。
{版本标签}.zip 内无需嵌套文件夹，直接放置程序文件即可。
jenkins/dev/{服务标准命名}/{版本标签}.zip
Pipeline流水线设计
Jenkins提交流水线示例
import groovy.json.JsonSlurper
node('agent') {
try
{
stage('拉取代码') {
git branch: '$branch', credentialsId: 'jenkins-node2', url: 'git@dev.yutong.com:yutongiot/realtime-processor.git'
}
gitlabBuilds(builds: ["编译打包", "质量扫描"]) {
gitlabCommitStatus(name:"编译打包") {
stage('编译打包') {
sh 'gradle sparkDeployZip'
}
}
gitlabCommitStatus(name:"质量扫描") {
stage('质量扫描') {
echo '质量扫描'
// SonarQubeServer为系统配置的SonarQube servers的名称
withSonarQubeEnv('SonarQube') {
sh '/usr/local/sonar-runner-2.4/bin/sonar-runner -Dsonar.projectKey=gemini -Dsonar.projectName=gemini -Dsonar.projectVersion=${branch} -Dsonar.sourceEncoding=UTF-8 -Dsonar.sources=./ -Dsonar.java.binaries=./'
}
script {
timeout(5) {
//单位，分钟，利用sonar webhook功能通知pipeline代码检测结果，未通过质量阈，pipeline将会fail
println('等待代码分析，sonar平台地址=http://10.66.221.187:9000')
def qg = waitForQualityGate()
println('qg.status: ' + qg.status)
if (qg.status != 'OK') {
error "未通过Sonarqube的代码质量阈检查，请及时修改！failure: ${qg.status}"
}
}
}
}
}
}
}
catch (err)
{
stage('失败通知')
{
mail to: 'lubing@yutong.com,mapfd@yutong.com',subject: "【DevOps通知】Jenkins流水线任务-${JOB_NAME}-(${BUILD_NUMBER})，执行失败",body: "请访问 ${BUILD_URL} 查看执行结果！"
}
throw err
}
}
Jenkins验收流水线示例
import groovy.json.JsonSlurper
timestamps {
node('agent') {
try
{
stage('拉取代码') {
checkout([$class: 'GitSCM', branches: [[name: '${branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: 'jenkins-node2', url: 'git@dev.yutong.com:yutongiot/realtime-processor.git']]])
}
}
stage('编译打包') {
echo '编译打包'
sh 'gradle sparkDeployZip'
}
stage('单元测试') {
echo '单元测试'
}
/*
stage('质量扫描') {
echo '质量扫描'
// SonarQubeServer为系统配置的SonarQube servers的名称
withSonarQubeEnv('SonarQube') {
sh '/usr/local/sonar-runner-2.4/bin/sonar-runner -Dsonar.projectKey=gemini -Dsonar.projectName=gemini -Dsonar.projectVersion=${branch} -Dsonar.sourceEncoding=UTF-8 -Dsonar.sources=./ -Dsonar.java.binaries=./'
}
script {
timeout(5) {
//单位，分钟，利用sonar webhook功能通知pipeline代码检测结果，未通过质量阈，pipeline将会fail
println('等待代码分析，sonar平台地址=http://10.66.221.187:9000')
def qg = waitForQualityGate()
println('qg.status: ' + qg.status)
if (qg.status != 'OK') {
error "未通过Sonarqube的代码质量阈检查，请及时修改！failure: ${qg.status}"
}
}
}
}
*/
def file_md5 = '';
stage('上传制品库') {
echo '移动制品文件'
sh 'rm -rf ${WORKSPACE}/ftp_upload'
sh 'mkdir -p ${WORKSPACE}/ftp_upload'
sh 'cp ${WORKSPACE}/deploy/gemini.zip ${WORKSPACE}/ftp_upload/${branch}.zip'
echo '读取md5'
sh 'md5sum ${WORKSPACE}/ftp_upload/${branch}.zip |cut -d " " -f1 > md5.txt'
file_md5 = readFile('md5.txt').trim()
echo "md5: ${file_md5}"
echo '上传FTP'
ftpPublisher alwaysPublishFromMaster: false, continueOnError: false, failOnError: false, publishers: [[configName: 'TEST_FTP', transfers: [[asciiMode: false, cleanRemote: false, excludes: '', flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '/jenkins/test/gemini/', remoteDirectorySDF: false, removePrefix: 'ftp_upload', sourceFiles: 'ftp_upload/']], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false]]
}
stage('自动部署') {
echo '自动部署'
sh 'salt -N gemini_test state.sls saltenv=test pillar="{ zip_name: ${branch}.zip }" sls.gemini_update'
}
stage('发出通知') {
echo '发出通知'
echo "制品库版本：${branch}, 制品文件包md5：${file_md5}, 请访问 ${BUILD_URL} 查看执行结果！"
mail to: 'zhangzhia@yutong.com,zouhl@yutong.com,zhaorp@yutong.com,wangmian@yutong.com,nidaxia@yutong.com,wxzhangxw@yutong.com',subject: "【DevOps通知】Jenkins流水线任务-${JOB_NAME}-(${BUILD_NUMBER})，执行成功",body: "制品库版本：${branch}, 制品文件包md5：${file_md5}, 请访问 ${BUILD_URL} 查看执行结果！"
}
}
catch (err)
{
stage('失败通知')
{
mail to: 'zhangzhia@yutong.com,zouhl@yutong.com,zhaorp@yutong.com,wangmian@yutong.com,nidaxia@yutong.com,wxzhangxw@yutong.com',subject: "【DevOps通知】Jenkins流水线任务-${JOB_NAME}-(${BUILD_NUMBER})，执行失败",body: "请访问 ${BUILD_URL} 查看执行结果！"
}
throw err
}
finally
{
}
}
}
Salt自动部署脚本
sls脚本
script脚本
