Docker在英雄联盟游戏中的实践探索(五)

jopen 8年前

【编者的话】 这篇博客是Riot的Docker实践系列博客的第五篇,主要讨论了如何从头创建你的Docker镜像。


在以前的 帖子中, 我们讲解了如何创建一系列Docker镜像来部署Jenkins容器。虽然我们原本打算在生产环境中部署Jenkins服务器容器,但是目前尚未这么做。 我们的团队从这项工作中获得的真正价值是如何快速创建Jenkins测试环境。这些环境可以用来测试插件,或者重现我们遇到的问题。例如,使用容器可以更 容易地测试Jenkins升级对于特定配置的影响。我们可以使用数据卷来持久化数据,然后大胆地升级Jenkins主镜像。

这些例子也教会了我自己如何配置更多复杂的Docker选项。比如,真实世界的场景中,Docker是如何工作的?如何解决持久化问题?一年前, 我很难找到好的文档。我们以这一系列博客为基础,来探索其他的可能性,如使用Docker容器创建从节点。这种灵活性使得我们团队可以自行开发工具,来构 建流水线和构建环境。

一年前我们开始尝试时,还没有今天这么完备的Cloudbees Jenkins镜像。根据我们是如何在生产服务器上部署Jenkins,我们手动创建了jenkins-master镜像。这也就是这篇文章的主要内容: 拆解Cloudbees镜像,真正了解它是如何工作的。当我们在做这个的时候,我们学到了很多关于Jenkins的知识。通过完全控制自己的 Dockerfile,可以修改和消除我们不想要的依赖。

某种程度上,管理依赖是很主观的。对于我们来说,我们希望尽量减少公共依赖。在Docker术语中,这就是关于如何使用“FROM”语句,从哪里 获取基础镜像。如果你想知道你的镜像是从哪里获取基础镜像,镜像里有哪些内容,那么这篇文章正是你想要的。同样的,如果你想更改默认的操作系统、Java 版本,或者删除一些Cloudbees容器的特性,也可以参考这篇文章。如果你只是满足于“It just works”,那么这篇文章可能并不适合你。

编写自己的镜像有一下这些好处:

  • 控制镜像的默认操作系统。如果Dockerfile依赖于一连串的FROM语句,哪一个最先指定了操作系统?因此,要想改变镜像,就要先了解镜像是如何形成的。
  • 在继承链中的每一个镜像都可能来自于一个公共源,并有可能在未经警告的情况下改变,或者包含不想用的内容。这是一个安全隐患。

发现依赖

第一步是弄清楚dockerfile中的依赖项列表是什么。到目前为止,在所有课程中,我们使用的都是公共的Jenkins CI Dockerfile。让我们从这里开始。

首先,先找到定义了我们正在使用的镜像的Dockerfile。Dockerhub可以方便地帮助我们找到想要的Dockerfiles。为了找出我们所使用的镜像,我们需要看看我们先前创建的Jenkins主节点的Dockerfile。
FROM jenkins:1.609.1  MAINTAINER Maxfield Stewart    # Prep Jenkins Directories  USER root  RUN mkdir /var/log/jenkins  RUN mkdir /var/cache/jenkins  RUN chown -R jenkins:jenkins /var/log/jenkins  RUN chown -R jenkins:jenkins /var/cache/jenkins  USER jenkins    # Set list of plugins to download / update in plugins.txt like this  # pluginID:version  # credentials:1.18  # maven-plugin:2.7.1  # ...  # NOTE : Just set pluginID to download latest version of plugin.  # NOTE : All plugins need to be listed as there is no transitive dependency resolution.  COPY plugins.txt /usr/share/jenkins/plugins.txt  RUN /usr/local/bin/plugins.sh /usr/share/jenkins/plugins.txt    # Set Defaults  ENV JAVA_OPTS="-Xmx8192m"  ENV JENKINS_OPTS="--handlerCountStartup=100 --handlerCountMax=300 --logfile=/var/log/jenkins/jenkins.log  --webroot=/var/cache/jenkins/war"


我们可以看到,FROM语句指向了Jenkins :1.609.1。在Dockerfile术语中,这里表示名为Jenkins、标记为1.609.1的镜像,这个标记也是Jenkins的版本号。让我们来看一下Dockerhub。
  1. 访问http://hub.docker.com
  2. 如果你想在Dockerhub中分享公开镜像,你可以注册一个帐户。不过,这篇教程并不需要它。
  3. 在搜索窗口中输入镜像名称:Jenkins。
    1.PNG
  4. 返回了一系列的镜像仓库,点击最上面的Jenkins。
    2.PNG
  5. 你现在可以看到这个镜像的详细描述。
  6. Jenkins镜像提供了指向1.625.2版本的链接。这意味着自从我开始这些教程到现在,版本已经更新了。点击这个链接
    3.PNG
  7. 这个链接可以把我们链接到GitHub上,也就是我们使用的Dockerfile。

我们的目标是复制这个Dockerfile,但自己管理依赖,因此保存下来这个Dockerfile。在本教程的结尾,我们会有一个完整的依赖项列表,并形成一个新的Dockerfile。目前的Jenkins Dockerfile是:
FROM java:8-jdk  RUN apt-get update && apt-get install -y wget git curl zip && rm -rf /var/lib/apt/lists/*    ENV JENKINS_HOME /var/jenkins_home  ENV JENKINS_SLAVE_AGENT_PORT 50000    # Jenkins is run with user `jenkins`, uid = 1000  # If you bind mount a volume from the host or a data container,  # ensure you use the same uid  RUN useradd -d "$JENKINS_HOME" -u 1000 -m -s /bin/bash jenkins    # Jenkins home directory is a volume, so configuration and build history  # can be persisted and survive image upgrades  VOLUME /var/jenkins_home    # `/usr/share/jenkins/ref/` contains all reference configuration we want  # to set on a fresh new installation. Use it to bundle additional plugins  # or config file with your custom jenkins Docker image.  RUN mkdir -p /usr/share/jenkins/ref/init.groovy.d    ENV TINI_SHA 066ad710107dc7ee05d3aa6e4974f01dc98f3888    # Use tini as subreaper in Docker container to adopt zombie processes  RUN curl -fL https://github.com/krallin/tini/releases/download/v0.5.0/tini-static -o /bin/tini && chmod +x /bin/tini \           && echo "$TINI_SHA /bin/tini" | sha1sum -c -    COPY init.groovy /usr/share/jenkins/ref/init.groovy.d/tcp-slave-agent-port.groovy    ENV JENKINS_VERSION 1.625.2  ENV JENKINS_SHA 395fe6975cf75d93d9fafdafe96d9aab1996233b    # could use ADD but this one does not check Last-Modified header  # see https://github.com/docker/docker/issues/8331  RUN curl -fL http://mirrors.jenkins-ci.org/war-stable/$JENKINS_VERSION/jenkins.war -o /usr/share/jenkins/jenkins.war \           && echo "$JENKINS_SHA /usr/share/jenkins/jenkins.war" | sha1sum -c -    ENV JENKINS_UC https://updates.jenkins-ci.org    RUN chown -R jenkins "$JENKINS_HOME" /usr/share/jenkins/ref    # for main web interface:  EXPOSE 8080    # will be used by attached slave agents:  EXPOSE 50000    ENV COPY_REFERENCE_FILE_LOG $JENKINS_HOME/copy_reference_file.log    USER jenkins    COPY jenkins.sh /usr/local/bin/jenkins.sh    ENTRYPOINT ["/bin/tini", "--", "/usr/local/bin/jenkins.sh"]    # from a derived Dockerfile, can use `RUN plugins.sh active.txt` to setup /usr/share/jenkins/ref/plugins from a support bundle  COPY plugins.sh /usr/local/bin/plugins.sh


最重要的是,Jenkins使用了FROM Java:8-jdk,接下来我们需要追踪这个Dockerfile。

在我们开始这么做之前,我们需要了解这个文件中的一切。Cloudbees已经投入了大量工作来完成一个可靠的Docker镜像,因此我们可以尽量利用这一点。要注意的要点如下:
  1. 环境变量有JENKINS_HOME, JENKINS_SLAVE_PORT, TINI_SHA, JENKINS_UC, JENKINS_VERSION和COPY_REFERNCE_FILE_LOG。
  2. 镜像使用Tini来管理僵尸进程,这很有趣。因为Cloudbees觉得这是有必要的,因此,我们也会保留这一点。
  3. Jenkins的war文件是通过curl下载到镜像中的。
  4. 使用apt-get安装了wget、curl和git。
  5. 有三个文件是被复制到容器中的: jenkins.sh, plugins.sh和init.groovy。
  6. 暴露了一些端口: 8080和50000,前者是Jenkins的侦听端口,后者是从节点与Jenkins的通信端口。

这需要花大量时间和精力来维护。

我们需要追踪每一个FROM语句,直到找到基础镜像中的操作系统。再次搜索Dockerhub中的下一个镜像:Java:8-jdk。
  1. 在Dockerhub搜索窗口中,搜索“java”。(确保你在Dockerhub主页,而不只是在搜索Jenkins的页面)。
  2. 就像搜索Jenkins一样,我们点击返回结果中的第一个。
    4.PNG
  3. 在“Supported tags”下面,我们可以看到Java有很多不同的标签和镜像。找到“8-jdk”这个标签,点击它的Dockerfile
    5.PNG

    这是一个有趣的镜像。Java 8-jdk镜像又引用另一个公共镜像buildpack-deps:jessie。因此,我们将要探索下一个镜像,但是我们还没有搞清楚这个镜像做了什么。

这一镜像做了以下事情:
  1. 安装Unzip。
  2. 使用apt-get安装opendjdk-8。
  3. 安装ca_certificates。
  4. 创建了debian:jessie backports,可以确认该镜像使用Debian:jessie。

以下是完整的Dockerfile:
FROM buildpack-deps:jessie-scm    # A few problems with compiling Java from source:  #  1. Oracle.  Licensing prevents us from redistributing the official JDK.  #  2. Compiling OpenJDK also requires the JDK to be installed, and it gets  #       really hairy.    RUN apt-get update && apt-get install -y unzip && rm -rf /var/lib/apt/lists/*  RUN echo 'deb http://httpredir.debian.org/debian jessie-backports main' > /etc/apt/sources.list.d/jessie-backports.list    # Default to UTF-8 file.encoding  ENV LANG C.UTF-8    ENV JAVA_VERSION 8u66  ENV JAVA_DEBIAN_VERSION 8u66-b17-1~bpo8+1    # see https://bugs.debian.org/775775  # and https://github.com/docker-library/java/issues/19#issuecomment-70546872  ENV CA_CERTIFICATES_JAVA_VERSION 20140324    RUN set -x \      && apt-get update \      && apt-get install -y \          openjdk-8-jdk="$JAVA_DEBIAN_VERSION" \          ca-certificates-java="$CA_CERTIFICATES_JAVA_VERSION" \      && rm -rf /var/lib/apt/lists/*    # see CA_CERTIFICATES_JAVA_VERSION notes above  RUN /var/lib/dpkg/info/ca-certificates-java.postinst configure    # If you're reading this and have any feedback on how this image could be  #   improved, please open an issue or a pull request so we can discuss it!

我们需要复制这一切。现在,让我们去寻找下一个Dockerfile,也就是buildpack-deps:jessie-scm。我们重复之前的过程:
  1. 在Dockerhub主页面上搜索“buildpack-deps”,选择第一个结果。
    6.PNG
  2. jessie-scm是"Supported Tags "的第二项。点击Dockerfile
    7.PNG

这个Dockerfile很短小。 我们可以看到它依赖于buildpack-deps:jessie-curl。但除此之外,Dockerfile安装了五个东西。
  1. BZR
  2. Git
  3. mercurial
  4. openssh-client
  5. subversion

因为这是一个SCM镜像,所以这是合理的。你需要衡量是否需要复制这些特定行为。首先,Cloudbees Jenkins镜像已经安装了Git。如果你不需要使用bazaar、mercurial或subversion,那么你也许不需要安装它们,从而节省一 部分空间。为了完整起见,这里是完整的Dockerfile:
FROM buildpack-deps:jessie-curl    RUN apt-get update && apt-get install -y --no-install-recommends \          bzr \          git \          mercurial \          openssh-client \          subversion \      && rm -rf /var/lib/apt/lists/*

让我们继续看下一个依赖。回到Dockerhub搜索页面。
  1. 搜索"buildpack-deps",选择第一个结果。
  2. 点击jessie-curl

看到这里,我们终于找到了最后的依赖。这个镜像有一个FROM语句:debian:jessie,这是一个操作系统。我们可以看到,这个镜像安装了一些应用程序:
  1. wget
  2. curl
  3. ca-certificates

这很有趣,因为其他的镜像已经安装了这些项目。我们不需要这一镜像,因为它没有增加新的价值。

现在,我们已经完成了对Jenkins基础镜像的探索。我们找到了需要注意和复制的内容,也发现一些东西是不需要的。这是完整的依赖链:
 Docker在英雄联盟游戏中的实践探索(五)

不要忘记:在之前的教程中,我们是基于Jenkins镜像来创建Dockerfile,下一步是如何创建自己的Dockerfile。

自己做DOCKERFILE

通过以上对于依赖的研究,我们现在可以从头创建自己的Dockerfile。最简单的方法就是剪切和粘贴所有内容,然后去掉FROM语句。这是可行的,但也会产生一些冗余指令和缺陷。我们可以通过删除一些不需要的东西,来减少镜像大小。

完整的镜像链是构建在Debian:Jessie的基础上,在这个教程中,我会讲解如何创建这一切。最后,我会提供另一个链接,是以CentOS7为基础来构建的。哪一个OS都是可以的,Docker的好处之一就是允许你选择希望使用的操作系统。

下面,让我们开始制作一个完全更新的jenkins-master镜像。这是目前jenkins-mater的Dockerfile(如果你已经学习了所有的教程):
FROM jenkins:1.609.1  MAINTAINER Maxfield Stewart    # Prep Jenkins Directories  USER root  RUN mkdir /var/log/jenkins  RUN mkdir /var/cache/jenkins  RUN chown -R jenkins:jenkins /var/log/jenkins  RUN chown -R jenkins:jenkins /var/cache/jenkins  USER jenkins    # Set Defaults  ENV JAVA_OPTS="-Xmx8192m"  ENV JENKINS_OPTS="--handlerCountStartup=100 --handlerCountMax=300 --logfile=/var/log/jenkins/jenkins.log  --webroot=/var/cache/jenkins/war"

这里值得注意的是,我们从Jenkins 1.609.1迁移到了1.625.1。基于我们在过去几周里学到的内容,我们更新了一些JAVA_OPTS设置。

第一步:让我们修改FROM语句,使用Debian。
  1. 使用你最喜欢的编辑器,打开jenkins-master/Dockerfile。
  2. 替换FROM语句:FROM debian:jessie。

下一步,我们使用apt-get安装了所有的应用程序。添加以下内容:
RUN echo 'deb http://httpredir.debian.org/debian jessie-backports main' > /etc/apt/sources.list.d/jessie-backports.list    ENV LANG C.UTF-8  ENV JAVA_VERSION 8u66  ENV JAVA_DEBIAN_VERSION 8u66-b17-1~bpo8+1    # see https://bugs.debian.org/775775  # and https://github.com/docker-library/java/issues/19#issuecomment-70546872  ENV CA_CERTIFICATES_JAVA_VERSION 20140324    RUN apt-get update \      && apt-get install -y --no-install-recommends \      wget \      curl \      ca-certificates \      zip \      openssh-client \      unzip \      openjdk-8-jdk="$JAVA_DEBIAN_VERSION" \      ca-certificates-java="$CA_CERTIFICATES_JAVA_VERSION" \      && rm -rf /var/lib/apt/lists/*    RUN /var/lib/dpkg/info/ca-certificates-java.postinst configure

这里有很多内容。你会注意到我将所有Dockerfile中apt-get安装的应用集中到了一起。为了这么做,我需要设置所有必要的关于Java版本和证书的环境变量。我建议在继续添加内容之前,先充分地测试它。
docker build jenkins-master/

 Docker在英雄联盟游戏中的实践探索(五)

我们只是测试了安装程序是正常的,但是这个镜像还暂时不能用。你可能会遇到一个错误:a missing Jenkins user,这是OK的。因为我们修改基础镜像为Debian操作系统,我们暂时删除了创建用户的Jenkins镜像。

通过这样的安装方式,我们基本上吸收了Buildpack镜像和Java镜像。那么,剩下的就是将Jenkins镜像吸收进我们的主镜像。

首先,安装Tini(你可以从它的 GitHub了解Tini的更多信息)。Cloudbees推荐使用Tini来管理Jenkins容器中的子进程,因此我们将会在Dockerfile中保留它:
# Install Tini  ENV TINI_SHA 066ad710107dc7ee05d3aa6e4974f01dc98f3888    # Use tini as subreaper in Docker container to adopt zombie processes  RUN curl -fL https://github.com/krallin/tini/releases/download/v0.5.0/tini-static -o /bin/tini && chmod +x /bin/tini \    && echo "$TINI_SHA /bin/tini" | sha1sum -c -

安装Tini之后,我们将所有额外的环境变量集中在一起:
# SET Jenkins Environment Variables  ENV JENKINS_HOME /var/jenkins_home  ENV JENKINS_SLAVE_AGENT_PORT 50000  ENV JENKINS_VERSION 1.625.2  ENV JENKINS_SHA 395fe6975cf75d93d9fafdafe96d9aab1996233b  ENV JENKINS_UC https://updates.jenkins-ci.org  ENV COPY_REFERENCE_FILE_LOG $JENKINS_HOME/copy_reference_file.log  ENV JAVA_OPTS="-Xmx8192m"  ENV JENKINS_OPTS="--handlerCountStartup=100 --handlerCountMax=300 --logfile=/var/log/jenkins/jenkins.log  --webroot=/var/cache/jenkins/war"

在这里,我们添加了两个新的环境变量,JAVA_OPTS和JENKINS_OPTS。同时,我也设置了Cloudbees镜像中用来安装Jenkins的所有环境变量。

接下来,为了安装Jenkins,我会做三件事:创建Jenkins用户、创建一个卷挂载点和设置初始化目录。
# Jenkins is run with user `jenkins`, uid = 1000  # If you bind mount a volume from the host or a data container,  # ensure you use the same uid  RUN useradd -d "$JENKINS_HOME" -u 1000 -m -s /bin/bash jenkins    # Jenkins home directory is a volume, so configuration and build history  # can be persisted and survive image upgrades  VOLUME /var/jenkins_home    # `/usr/share/jenkins/ref/` contains all reference configuration we want  # to set on a fresh new installation. Use it to bundle additional plugins  # or config file with your custom jenkins Docker image.  RUN mkdir -p /usr/share/jenkins/ref/init.groovy.d

在这里,我们可以运行CURL命令来下载正确的jenkins.war文件。注意,这里使用了环境变量JENKINS_VERSION,所以如果你以后想修改版本,只要修改环境变量就好了。
# Install Jenkins  RUN curl -fL http://mirrors.jenkins-ci.org/war-stable/$JENKINS_VERSION/jenkins.war -o /usr/share/jenkins/jenkins.war \    && echo "$JENKINS_SHA /usr/share/jenkins/jenkins.war" | sha1sum -c -

接下来,我会处理相关的目录和用户权限。这些和之前的教程中的jenkins-master镜像是相同的,我们希望能够更好地隔离我们的Jenkins安装,并与我们的数据卷容器兼容。我们把从Cloudbees镜像中引入了jenkins/ref目录。
# Prep Jenkins Directories  RUN chown -R jenkins "$JENKINS_HOME" /usr/share/jenkins/ref  RUN mkdir /var/log/jenkins  RUN mkdir /var/cache/jenkins  RUN chown -R jenkins:jenkins /var/log/jenkins  RUN chown -R jenkins:jenkins /var/cache/jenkins

接下来,我会暴露我们需要的端口:
# Expose Ports for web and slave agents  EXPOSE 8080  EXPOSE 50000

剩下的,就是复制Cloudbees镜像中的utility文件,设置Jenkins用户,并运行startup命令。根据Dockerfile最佳实践,我们把COPY命令放在一起。这些是很可能改变的。这样一来,一旦他们改变了,也不会使文件缓存失效。
# Copy in local config files  COPY init.groovy /usr/share/jenkins/ref/init.groovy.d/tcp-slave-agent-port.groovy  COPY jenkins.sh /usr/local/bin/jenkins.sh  COPY plugins.sh /usr/local/bin/plugins.sh  RUN chmod +x /usr/local/bin/plugins.sh  RUN chmod +x /usr/local/bin/jenkins.sh

注意:直到我们把这些文件拷贝到我们的仓库为止,我们都不会构建Dockerfile。在下一部分,我们会测试说有内容。特别注意,我添加了chmod +x命令,这保证了添加的文件是可执行的。最后,设置Jenkins用户和入口点。
# Switch to the jenkins user  USER jenkins    # Tini as the entry point to manage zombie processes  ENTRYPOINT ["/bin/tini", "--", "/usr/local/bin/jenkins.sh"]

你可以在托管在Github上的 教程上找到完整的Dockerfile。现在,让我们来测试一下所有的修改。注意,当运行到COPY命令的时候,出错是正常的。
docker build jenkins-master/

 Docker在英雄联盟游戏中的实践探索(五)

一切都如预期一样,包括缺少shell脚本的错误。这是我们需要处理的最后一件事。

打开 Cloudbees Jenkins Dockerfile GitHub仓库。我们需要拷贝这三个文件:
  1. init.groovy
  2. plugins.sh
  3. jenkins.sh

下载或复制这些文件,并放在jenkins-master目录中。
  1. init.groovy Jenkins启动时会运行这个groovy文件,它的上下文环境就是Jenkins WAR。通过设置groovy文件,可以保证Jenkins每次启动都使用相同的配置,即使是第一次安装。
  2. plugins.sh 这个脚本会自动下载一个插件列表文件中的所有插件。你可以自己包含这个文件。在以后的博客中,我会用这个脚本来安装像Docker-plugin这样的插件。
  3. jenkins.sh 这是启动Jenkins的shell脚本,使用了JAVA_OPTS和JENKINS_OPTS两个环境变量。

Cloudbees提供一系列很有用的脚本,所以我建议你保留它们。我们创建自己的Dockerfile的缺点是,如果Cloudbees决定更新他们的镜像的话,我们的镜像不会自动更新。如果你想使用这些更新的话,你需要时刻注意Cloudbees所做的更新。

现在,jenkins-master镜像的Dockerfile准备好了。如果你学习了这个系列教程的话,你已经有一个makefile,并安装了docker-compose。下一步就是构建最终的镜像,并启动Jenkins应用。
docker-compose build  docker-compose up -d


从现在开始,你已经完全控制了Docker镜像,当然,使用的OS还是公开的OS镜像。从头构建操作系统镜像,已经超出了本文的范围。

如果你感兴趣的话,基于CentOS7的镜像也可以在我们的 Github仓库中找到。使用CentOS或者Debian都是可以的,它们最大的不同就是CentOS使用yum来安装程序,而不是用apt-get。

结论

完全控制你的Docker镜像并没有那么难。首先,需要注意你的依赖,以及它们是从哪里引入的,是如何构成你的容器的。其次,你可以删除一些不需要的东西,从而节省一些磁盘空间,使你的镜像更轻一些。你也可以降低其他依赖失效的风险。

另一方面,你的责任也更大了——你再也不会获得自动更新,你必须自己追踪Cloudbees Jenkins镜像的更新。这是否有利取决于你个人的开发策略。

无论你是否选择控制自己的镜像,我都建议你遵循同样的流程。在Dockerhub上,找到你继承的Docker镜像,来帮助你理解继承关系。理解 这条继承链上的所有Dockerfile做了些什么。你应该了解你的镜像中究竟包含了什么,毕竟它是跑在你的服务器上。至少,你可以从中了解使用的基础操 作系统、Docker镜像的生态以及一些有趣的实践,比如Cloudbees如何使用Tini来管理子进程。

像往常一样,你可以在GitHub上找到本文的所有 资源。在这上面,有很多不错的讨论。欢迎你们进行评论或者提问。

现在,你已经有了一个完整功能的Jenkins主服务器和环境。下一篇教程会讲解如何将从节点连接至主服务器。特别的是,我们会基于容器来构建从服务器。有很多种不同的方式来做这件事,我们会讨论其中的几种。

原文链接:TAKING CONTROL OF YOUR DOCKER IMAGE(翻译:夏彬 校对:李颖杰)

来自:http://dockone.io/article/913