使用Gitlab CI/DI 自动生成docker镜像

因为项目中有多个project,所以搭建了一个gitlab server. gitlab除了git的功能之外,还额外提供了CI和DI的功能。因为项目目前没有做集成测试和静态检查,所以CI基本用不到。但是可以用DI来将项目文件打包成docker和vm image. 便于后续部署。

添加 gitlab runner

runner其实就是一个工作机器,gitlab的任务不是在gitlab server上完成的,而是在一些runner上面来执行的。所以第一步要添加runner.

install runner

官网有详细的安装步骤,链接如下:

https://docs.gitlab.com/runner/install/linux-repository.html

需要执行如下命令,以ubuntu为例子:

# For Debian/Ubuntu/Mint
curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.deb.sh | sudo bash

sudo apt-get install gitlab-runner

configure runner

根据gitlab的定义,runner分为special和shared. 定义如下:

Shared Runners are useful for jobs that have similar requirements,
between multiple projects. Rather than having multiple Runners idling for
many projects, you can have a single or a small number of Runners that handle
multiple projects. This makes it easier to maintain and update Runners.

Specific Runners are useful for jobs that have special requirements or for
projects with a specific demand. If a job has certain requirements, you can set
up the specific Runner with this in mind, while not having to do this for all
Runners. For example, if you want to deploy a certain project, you can setup
a specific Runner to have the right credentials for this.

这里创建一个shared runner.

  1. 通过root账号登录gitlab,然后找到admin/runners页面。
  2. 找到这个页面的一个token
  3. 在runner machine上执行如下命令:
root@worker:/home/zhbo# gitlab-ci-multi-runner register
Running in system-mode.                            

Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
http://172.30.42.156
Please enter the gitlab-ci token for this runner:
a8hH15vcz_ssa4FX8t-r
Please enter the gitlab-ci description for this runner:
[worker]:   
Please enter the gitlab-ci tags for this runner (comma separated):
package
Whether to run untagged builds [true/false]:
[false]:     
Whether to lock the Runner to current project [true/false]:
[true]: false
Registering runner... succeeded                     runner=a8hH15vc
Please enter the executor: ssh, docker+machine, docker, docker-ssh, parallels, shell, virtualbox, docker-ssh+machine, kubernetes:
ssh, docker+machine, docker, docker-ssh, parallels, shell, virtualbox, docker-ssh+machine, kubernetes
ERROR: Invalid executor specified                  
Please enter the executor: ssh, docker+machine, docker, docker-ssh, parallels, shell, virtualbox, docker-ssh+machine, kubernetes:
[ssh, docker+machine, docker, docker-ssh, parallels, shell, virtualbox, docker-ssh+machine, kubernetes]:
ERROR: Invalid executor specified                  
Please enter the executor: docker, docker-ssh, parallels, shell, virtualbox, docker-ssh+machine, kubernetes, ssh, docker+machine:
[ssh, docker+machine, docker, docker-ssh, parallels, shell, virtualbox, docker-ssh+machine, kubernetes]: shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

执行完之后,刷新admin/runners就可以看到新建的runner了。

配置job

上面已经安装好一个可用的runner,接下来是配置在runner上执行的job.

编写.gitlab-ci.yml

gitlab提供了一个很方便的配置工具,就是.gitlab-ci.yml, 将该文件放入到project的根目录下即可。gitlab server上有详细的文档说明,位置如下:
http://gitlab-server-ip/help/ci/yaml/README.md

以fcsslib项目为例,要配置一个生成docker镜像的job, 每次对project打tag的时候就会触发job执行,生成一个fcsslib的镜像,镜像的version是tag的name. .gitlab-ci.yml的内容如下:

after_script:
  - docker rmi $( docker images -q -f dangling=true)
stages:
  - build

package:
  stage: build
  script:
    - mkdir docker/src
    - cp -a app config.py manage.py docker/src/
    - cd docker
    - docker build -t fcss/taskmgr:$CI_COMMIT_REF_NAME .
  only:
    - tags
    - triggers
  tags:
    - package

其中Dockerfile的文件组织关系可以根据实际情况进行调整。only 规定了只有git tags操作和triggers才能触发任务,triggers可以在gitlab的project->settings->CI/DI Pipelines下添加,添加之后会生成一个token,使用这个token就可以随时触发一次job了,在测试的时候非常有用。 tags 用来筛选符合条件的runners。

默认的script运行的位置是project的根目录,runner会先将整个project取下来,然后在project根目录下运行job.

更多.gitlab-ci.yml文件的用法可以参考上面说的配置文档。

配置权限

在runner上运行任务的时候使用的是gitlab-runner账户,该账户没有root权限,如果想使用更高的权限可以对gitlab-runner账户进行提权。

这里因为只有docker命令需要更高的权限,可以使用创建docker用户组的方式解决。在runner上使用root账户执行如下命令:

usermod -aG docker gitlab-runner

然后就可以执行docker命令打包了。

docker文件的编写

可以参考docker官方网站的实现。生成的docker镜像也可以根据需要上传到本地仓库便于后续部署。这些操作都可以在job中执行,此处不再做过多说明。

job的触发

按照上面的.gitlab-ci.yml文件中指定的规则,有两种方法可以触发job的执行。

triggers

可以执行如下命令:

http://:gitlab-server/api/v4/projects/:project_id/ref/REF_NAME/trigger/pipeline?token=TOKEN

git tags

可以对当前项目打标签来触发job的执行。git tag的常见命令如下:

列出标签
$ git tag # 在控制台打印出当前仓库的所有标签
$ git tag -l 'v0.1.\*'
打标签

git标签分为两种类型:轻量标签和附注标签。轻量标签是指向提交对象的引用,附注标签则是仓库中的一个独立对象。建议使用附注标签。

创建轻量标签
$ git tag v0.1.2-light
创建附注标签
$ git tag -a v0.1.2 -m “0.1.2版本”

创建轻量标签不需要传递参数,直接指定标签名称即可。
创建附注标签时,参数a即annotated的缩写,指定标签类型,后附标签名。参数m指定标签说明,说明信息会保存在标签对象中。

切换到标签

与切换分支命令相同,用git checkout [tagname]
查看标签信息
用git show命令可以查看标签的版本信息:

$ git show v0.1.2
删除标签

误打或需要修改标签时,需要先将标签删除,再打新标签。

$ git tag -d v0.1.2 # 删除标签

参数d即delete的缩写,意为删除其后指定的标签。

给指定的commit打标签
打标签不必要在head之上,也可在之前的版本上打,这需要你知道某个提交对象的校验和(通过git log获取)。

补打标签
$ git tag -a v0.1.1 9fbc3d0
标签发布

通常的git push不会将标签对象提交到git服务器,我们需要进行显式的操作:

$ git push origin v0.1.2 # 将v0.1.2标签提交到git服务器
$ git push origin –tags # 将本地所有标签一次性提交到git服务器

注意:如果想看之前某个标签状态下的文件,可以这样操作

  1. git tag 查看当前分支下的标签
  2. git checkout v0.21 此时会指向打v0.21标签时的代码状态,(但现在处于一个空的分支上)
  3. cat test.txt 查看某个文件
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 161,601评论 4 369
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 68,367评论 1 305
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 111,249评论 0 254
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,539评论 0 217
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,967评论 3 295
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,929评论 1 224
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,098评论 2 317
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,825评论 0 207
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,609评论 1 249
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,796评论 2 253
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,282评论 1 265
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,603评论 3 261
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,277评论 3 242
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,159评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,959评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 36,079评论 2 285
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,874评论 2 277

推荐阅读更多精彩内容