【DevOps】第一步: 编写Dockerfile与项目实践

一、Dockerfile简介

Dockerfile 是一个文本文件，其内包含了一条条的 指令(Instruction)，每一条指令构建一层，因此每一条指令的内容，就是描述该层应当如何构建。

Dockerfile分为四部分：

  • FROM：基础镜像信息
  • MAINTAINER：维护者信息
  • RUN、COPY、ADD、EXPOSE等：镜像操作指令
  • CMD、ENTRYPOINT：容器启动时执行指令。

例如：

FROM python:3.6

MAINTAINER cbbing <cbbing@163.com>

COPY pip.conf requirements.txt /root/.pip/

#设置时区
ENV TZ=Asia/Shanghai
ENV PYTHONPATH=/usr/src/app

RUN mkdir -p /usr/src/app \
    && pip install -r /root/.pip/requirements.txt \
    && apt-get update \
    && apt-get install -y supervisor \
    && ln -snf /usr/share/zoneinfo/$TZ /etc/localtime \
    && echo $TZ > /etc/timezone

WORKDIR /usr/src/app

CMD ["python"]

Dockerfile指令

指令的一般格式为 INSTRUCTION arguments，指令包括 FROM、MAINTAINER、RUN 等。

1. FROM

格式为 FROM <image>或FROM <image>:<tag>。
第一条指令必须为 FROM 指令。并且，如果在同一个Dockerfile中创建多个镜像时，可以使用多个 FROM 指令（每个镜像一次）。

2. MAINTAINER

格式为 MAINTAINER <name>，指定维护者信息。

3. RUN

格式为 RUN <command> 或 RUN ["executable", "param1", "param2"]。
前者将在 shell 终端中运行命令，即 /bin/sh -c；后者则使用 exec 执行。指定使用其它终端可以通过第二种方式实现，例如 RUN ["/bin/bash", "-c", "echo hello"]。
每条 RUN 指令将在当前镜像基础上执行指定命令，并提交为新的镜像。当命令较长时可以使用 \ 来换行。

4. CMD

支持三种格式
CMD ["executable","param1","param2"] 使用 exec 执行，推荐方式；
CMD command param1 param2 在 /bin/sh 中执行，提供给需要交互的应用；
CMD ["param1","param2"] 提供给 ENTRYPOINT 的默认参数；
指定启动容器时执行的命令，每个 Dockerfile 只能有一条 CMD 命令。如果指定了多条命令，只有最后一条会被执行。
如果用户启动容器时候指定了运行的命令，则会覆盖掉 CMD 指定的命令。

5. EXPOSE

格式为 EXPOSE <port> [<port>...]。
告诉 Docker 服务端容器暴露的端口号，供互联系统使用。在启动容器时需要通过 -P，Docker 主机会自动分配一个端口转发到指定的端口。

6. ENV

格式为 ENV <key> <value>。 指定一个环境变量，会被后续 RUN 指令使用，并在容器运行时保持。
例如

ENV PG_MAJOR 9.3
ENV PG_VERSION 9.3.4
ENV TZ=Asia/Shanghai
ENV PYTHONPATH=/usr/src/app

7. ADD

格式为 ADD <src> <dest>。
该命令将复制指定的 <src> 到容器中的 <dest>。 其中 <src> 可以是Dockerfile所在目录的一个相对路径；也可以是一个 URL；还可以是一个 tar 文件（自动解压为目录）。

8. COPY

格式为 COPY <src> <dest>。
复制本地主机的 <src>（为 Dockerfile 所在目录的相对路径）到容器中的 <dest>。
当使用本地目录为源目录时，推荐使用 COPY。

9. ENTRYPOINT

两种格式：
ENTRYPOINT ["executable", "param1", "param2"]
ENTRYPOINT command param1 param2（shell中执行）。
配置容器启动后执行的命令，并且不可被 docker run 提供的参数覆盖。
每个 Dockerfile 中只能有一个 ENTRYPOINT，当指定多个时，只有最后一个起效。

10. VOLUME

格式为 VOLUME ["/data"]。
创建一个可以从本地主机或其他容器挂载的挂载点，一般用来存放数据库和需要保持的数据等。

11. USER

格式为 USER daemon。
指定运行容器时的用户名或 UID，后续的 RUN 也会使用指定用户。
当服务不需要管理员权限时，可以通过该命令指定运行用户。并且可以在之前创建所需要的用户，例如：RUN groupadd -r postgres && useradd -r -g postgres postgres。要临时获取管理员权限可以使用 gosu，而不推荐 sudo。

12. WORKDIR

格式为 WORKDIR /path/to/workdir。
为后续的 RUN、CMD、ENTRYPOINT 指令配置工作目录。
可以使用多个 WORKDIR 指令，后续命令如果参数是相对路径，则会基于之前命令指定的路径。例如

WORKDIR /a
WORKDIR b
WORKDIR c
RUN pwd

则最终路径为 /a/b/c。

13. ONBUILD

格式为 ONBUILD [INSTRUCTION]。
配置当所创建的镜像作为其它新创建镜像的基础镜像时，所执行的操作指令。
ONBUILD指令,实际上就是相当于创建一个模板镜像，后续可以根据该模板镜像创建特定的子镜像
例如，Dockerfile 使用如下的内容创建了镜像 image-A。

[...]
ONBUILD ADD . /app/src
ONBUILD RUN /usr/local/bin/python-build --dir /app/src
[...]

image-A的构建过程中不执行这两条命令，但在FROM image-A的子镜像中会执行这两条命令。

二、构建镜像

docker build -t mynginx:v2019 .

注意不要少了最后面的“.”

三、Dockerfile编写建议

  • 通过 Docker 多阶段构建将多个层压缩为一个
    在构建 Docker 容器时，应该尽量想办法获得体积更小的镜像，因为传输和部署体积较小的镜像速度更快。
    从 Docker 1.10 开始，COPY、ADD 和 RUN 语句会向镜像中添加新层。层会占用空间，你拥有的层越多，最终的镜像就越大。Git 存储库在这方面也是类似的，存储库的大小随着层数的增加而增加，因为 Git 必须保存提交之间的所有变更。
  • 将不经常改动的命令，比如python的reqirements.txt 依赖包，单独拎出来放在项目代码的前面。因为依赖包不经常变动，每次生成镜像时，只需将后面的项目代码copy到镜像即可。
# 方案一：
FROM python:3.6

RUN mkdir -p /usr/src/app
WORKDIR /usr/src/app

COPY . /usr/src/app
RUN pip install -r /usr/src/app/requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

CMD python /usr/src/app/manage.py runserver 0.0.0.0:8000


# 方案二：
FROM python:3.6

RUN mkdir -p /usr/src/app
WORKDIR /usr/src/app

COPY requirements.txt /usr/src/app/
RUN pip install -r /usr/src/app/requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

COPY . /usr/src/app
CMD python /usr/src/app/manage.py runserver 0.0.0.0:8000

方案二比方案一好，为什么？因为方案一中的requirements.txt实际项目中是很少变动，但是因为/usr/src/app的项目代码是经常变动，导致每次打包都得根据equirements.txt安装依赖包。而方案二先把requirements.txt 拷贝进来，如果requirements.txt 没改动，docker会用到之前缓存的，加快打包速度。
实际运行几次打包过程，会发现速度的差异是比较明显的。

四、实践

公司现在的所有项目均以容器封装，几十个容器运行在十来台主机中，现在正在将服务器整合到kubernetes集群中，可以说一切皆容器，一切皆Docker。

1. Django项目的Dockerfile

Django项目打包成Docker镜像是比较简单，主要是安装python依赖包，然后就是manage.py启动服务。
Dockerfile 位于Django项目的根目录，目录结构如下：

├── requirements.txt
├── Dockerfile
├── api
│ ├── __init__.py
│ ├── urls.py
│ ├── wsgi.py
│ └── settings.py

Dockerfile文件：

FROM python:3.6

RUN mkdir -p /usr/src/app
WORKDIR /usr/src/app

COPY requirements.txt /usr/src/app/
RUN pip install -r /usr/src/app/requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

COPY . /usr/src/app

CMD python /usr/src/app/manage.py runserver 0.0.0.0:8000

2. SpringMVC项目的Dockerfile

项目运行在tomcat中。
先生成war文件，转成tar.gz文件， 通过ADD命令解压到镜像中。接下来就是配置文件的替换，最后运行tomact服务。

# Version 0.1

# 基础镜像
FROM cbbing/tomcat

RUN rm -rf $CATALINA_HOME/webapps/ROOT
ADD ROOT.tar.gz $CATALINA_HOME/webapps/

# 配置文件替换
COPY conf/server.xml $CATALINA_HOME/conf/
COPY conf/tomcat-users.xml $CATALINA_HOME/conf/
COPY conf/jdbc.properties $CATALINA_HOME/webapps/ROOT/WEB-INF/classes/properties/

CMD ["catalina.sh", "run"]

mvn.sh: 生成ROOT.tar.gz的脚本如下：

cd ../myweb
mvn clean
mvn install -DskipTests

cd ..
mkdir ./ROOT
cp ./myweb/target/myweb.war ./ROOT

cd ROOT
jar xvf myweb.war
rm myweb.war
cd ..
tar czf ROOT.tar.gz ./ROOT
rm -rf ROOT/

3. Vue.js项目的Dockerfile

步骤如下：

  1. 下载package.json中定义的依赖
  2. npm build生成编译后的文件到dist
  3. 基础镜像为nginx，从nginx代理静态文件
FROM nginx:1.15

MAINTAINER cbbing <cbbing@163.com>

ENV LANG C.UTF-8
ENV TZ=Asia/Shanghai
RUN ln -snf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo Asia/Shanghai > /etc/timezone

COPY nginx.conf /etc/nginx/conf.d/default.conf
COPY dist /usr/share/nginx/html

make.sh：制作脚本如下

#!/usr/bin/env bash

echo "npm install"
npm install -g cnpm --registry=https://registry.npm.taobao.org
cnpm install

echo "npm build"
npm run build

image_tag=`date +%Y%m%d` #_%H%M
echo "当前时间：$image_tag"
docker build -t cbbing/web_p:v${image_tag} .

4. Scrapy项目的Dockerfile

scrapy项目和Django项目的差别在于启动的方式不同，这里涉及到一些配置文件。

FROM python:3.6

#设置时区
ENV TZ=Asia/Shanghai
ENV PYTHONPATH=/usr/src/app

RUN mkdir -p /usr/src/app \
    && pip install -r /root/.pip/requirements.txt  -i https://mirrors.aliyun.com/pypi/simple/ \
    && apt-get update \
    && apt-get install -y supervisor \
    && ln -snf /usr/share/zoneinfo/$TZ /etc/localtime \
    && echo $TZ > /etc/timezone

WORKDIR /usr/src/app

COPY . /usr/src/app

COPY supervisord.conf /etc/supervisor/conf.d/supervisord.conf
RUN mkdir -p /var/log/supervisor

COPY scrapyd.conf /usr/local/lib/python3.6/site-packages/scrapyd/default_scrapyd.conf

CMD ["/usr/bin/supervisord"]

其中用到的配置文件：

  • supervisord.conf
[inet_http_server]
port=9020
username=admin
password=1234

[supervisord]
nodaemon=true
logfile=/var/log/supervisor/supervisord.log;
pidfile=/var/log/supervisord.pid;
childlogdir=/var/log/supervisor

[program:scrapyd]
command=scrapyd
loglevel=info
redirect_stderr=true
stdout_events_enabled=true

[program:scrapyd-deploy]
command=bash supervisor-scrapyd-deploy.sh
startsecs = 35
loglevel=info

[program:simple_http]
command=/bin/bash supervisor-http-egg.sh
autorestart=true
startsecs=10
loglevel=info

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
  • scrapyd.conf
[scrapyd]
eggs_dir = eggs
logs_dir = logs
items_dir =
jobs_to_keep = 20
dbs_dir = dbs
max_proc = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port = 6800
debug = off
runner = scrapyd.runner
application = scrapyd.app.application
launcher = scrapyd.launcher.Launcher
webroot = scrapyd.website.Root

[services]
schedule.json = scrapyd.webservice.Schedule
cancel.json = scrapyd.webservice.Cancel
addversion.json = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json = scrapyd.webservice.ListSpiders
delproject.json = scrapyd.webservice.DeleteProject
delversion.json = scrapyd.webservice.DeleteVersion
listjobs.json = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus

参考

  1. Dockerfile介绍
  2. 三个技巧，将 Docker 镜像体积减小 90%
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 157,298评论 4赞 360
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 66,701评论 1赞 290
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 107,078评论 0赞 237
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 43,687评论 0赞 202
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 52,018评论 3赞 286
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 40,410评论 1赞 211
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 31,729评论 2赞 310
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,412评论 0赞 194
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,124评论 1赞 239
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,379评论 2赞 242
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,903评论 1赞 257
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,268评论 2赞 251
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 32,894评论 3赞 233
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,014评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,770评论 0赞 192
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 35,435评论 2赞 269
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,312评论 2赞 260