当Node.js遇见Docker

AlvinGraynd 5年前
   <ul>     <li> <p>使用ES6</p> </li>     <li> <p>使用Promise</p> </li>     <li> <p>使用LTS</p> </li>     <li> <p>使用 <a href="/misc/goto?guid=4958839306020721371" rel="nofollow,noindex">Docker</a></p> </li>     <li> <p>...</p> </li>    </ul>    <p>想必大家都知道ES6,Promise以及LTS,那 Docker 是啥玩意啊?翻遍 Node文档 也没见踪迹啊!</p>    <p><img src="https://simg.open-open.com/show/03eb3f161b6e40470f5859f88edce9a6.png"></p>    <p>GitHub仓库: <a href="/misc/goto?guid=4959746773698858940" rel="nofollow,noindex">Fundebug/nodejs-docker</a></p>    <h3>什么是Docker?</h3>    <p>Docker是最流行的的容器工具, <strong>没有之一</strong> 。本文并不打算深入介绍Docker,不过可以从几个简单的角度来理解Docker。</p>    <p>从进程的角度理解Docker</p>    <p>在Linux中,所有的进程构成了一棵树。可以使用 <a href="/misc/goto?guid=4959746773790170969" rel="nofollow,noindex">pstree</a> 命令进行查看:</p>    <pre>  <code class="language-javascript">pstree  init─┬─VBoxService───7*[{VBoxService}]       ├─acpid       ├─atd       ├─cron       ├─dbus-daemon       ├─dhclient       ├─dockerd─┬─docker-containe─┬─docker-containe─┬─redis-server───2*[{redis-server}]       │         │                 │                 └─8*[{docker-containe}]       │         │                 ├─docker-containe─┬─mongod───16*[{mongod}]       │         │                 │                 └─8*[{docker-containe}]       │         │                 └─11*[{docker-containe}]       │         └─13*[{dockerd}]       ├─6*[getty]       ├─influxd───9*[{influxd}]       ├─irqbalance       ├─puppet───{puppet}       ├─rpc.idmapd       ├─rpc.statd       ├─rpcbind       ├─rsyslogd───3*[{rsyslogd}]       ├─ruby───{ruby}       ├─sshd─┬─sshd───sshd───zsh───pstree       │      ├─sshd───sshd───zsh       │      └─sshd───sshd───zsh───mongo───2*[{mongo}]       ├─systemd-logind       ├─systemd-udevd       ├─upstart-file-br       ├─upstart-socket-       └─upstart-udev-br</code></pre>    <p>可知,init进程为所有进程的根(root),其PID为1。</p>    <p>Docker将不同应用的进程隔离了起来,这些被隔离的进程就是一个个容器。隔离是基于两个Linux内核机制实现的,Namesapce和Cgroups。</p>    <p>Namespace可以从UTD、IPC、PID、Mount,User和Network的角度隔离进程。比如,不同的进程将拥有不同PID空间,这样容器中的进程将看不到主机上的进程,也看不到其他容器中的进程。这与Node.js中模块化以隔离变量的命名空间的思想是异曲同工的。</p>    <p>通过Cgroups,可以限制进程对CPU,内存等资源的使用。简单地说,我们可以通过Cgroups指定容器只能使用1G内存。</p>    <p>从进程角度理解Docker,那 <strong>每一个Docker容器就是被隔离的进程及其子进程</strong> 。上文pstree的输出中可以分辨出2个容器: mongodb和redis。</p>    <p>从文件的角度理解Docker</p>    <p>基于Namespace与Cgroups的容器工具其实早已存在,例如 Linux-VServer , OpenVZ , LXC 。然而,真正引爆容器技术的却是后来者Docker。为什么呢?个人觉得是因为 <strong>Docker镜像</strong> 以及 <strong>Dockerfile</strong> 。</p>    <p>在Linux中,一切皆文件,进程的运行离不开各种各样的文件。跑一个简单的Node.js程序,传统的做法是手动安装各种依赖然后运行;而Docker则是将所有依赖(包括操作系统,Node,NPM模块,源代码)打包到一个 <strong>Docker镜像</strong> 中,然后基于这个镜像运行容器。</p>    <p>Docker镜像可以通过 <strong>Docker仓库</strong> 共享给其他人,这样他们只需要下载镜像即可运行程序。想象一下,当我们需要在另一台主机(比如生产服务器,新同事的机器)上运行一个Node.js应用,仅仅需要下载对应的Docker镜像就可以了,是不是很方便呢?</p>    <p>Docker镜像可以通过文本文件,即 <strong>Dockerfile</strong> 进行定义。不妨看一个简单的例子(由于不可抗力,这个Dockerfile构建大概会失败,仅作为参考):</p>    <pre>  <code class="language-javascript"># 基于Ubuntu  FROM ubuntu    # 安装Node.js与NPM  RUN apt-get update && apt-get -y install nodejs npm    # 安装NPM模块:Express  RUN npm install express    # 添加源代码  ADD app.js /</code></pre>    <p>其中, <strong>FROM</strong> , <strong>RUN</strong> 与 <strong>ADD</strong> 为Dockerfile命令。结合注释,该Dockerfile的含义非常直白。基于这个Dockerfile,使用 <strong>docker build</strong> 命令就可以构建对应的Docker镜像。基于这个Docker镜像,就可以运行Docker容器来执行app.js:</p>    <pre>  <code class="language-javascript">var express = require("express");  var app = express();    app.get("/", function(req, res)  {      res.send("Hello Fundebug!\n");  });    app.listen(3000);</code></pre>    <p>Dockerfile实际上是将 <strong>Docker镜像代码化</strong> 了,另一方面也是将 <strong>安装依赖的过程代码化</strong> 了,于是我们就可以像管理源码一样使用git对Dockerfile进行版本管理。</p>    <h3>为啥用Docker?</h3>    <p>当你的系统越来越复杂的时候,你会发现Docker的价值。</p>    <p>从应用架构角度理解Docker</p>    <p>刚开始,你只需要写一个Node.js程序,挂载一个静态网站;然后,你做了一个用户账号系统,这时需要数据库了,比如说MySQL; 后来,为了提升性能,你引入了Memcached缓存;终于有一天,你决定把前后端分离,这样可以提高开发效率;当用户越来越多,你又不得不使用Nginx做反向代理; 对了,随着功能越来越多,你的应用依赖也会越来越多...总之,你的应用架构只会越来越复杂。不同的组件的安装,配置与运行步骤各不相同,于是你不得不写一个很长的文档给新同事,只为了让他搭建一个 <strong>开发环境</strong> 。</p>    <p>使用Docker的话,你可以为不同的组件逐一编写Dockerfile,分别构建镜像,然后运行在各个容器中。这样做,将复杂的架构统一了,所有组件的安装和运行步骤统一为几个简单的命令:</p>    <ul>     <li> <p>构建Docker镜像: docker build</p> </li>     <li> <p>上传Docker镜像: docker push</p> </li>     <li> <p>下载Docker镜像: docker pull</p> </li>     <li> <p>运行Docker容器: docker run</p> </li>    </ul>    <p>从应用部署角度理解Docker</p>    <p>通常,你会有 <strong>开发</strong> , <strong>测试</strong> 和 <strong>生产</strong> 服务器,对于某些应用,还会需要进行 <strong>构建</strong> 。不同步骤的依赖会有一些不同,并且在不同的服务器上执行。如果手动地在不同的服务器上安装依赖,是件很麻烦的事情。比如说,当你需要为Node.js应用添加一个新的npm模块,或者升级一下Node.js,是不是得重复操作很多次?友情提示一下,手动敲命令是极易出错的,有些失误会导致致命的后果(参考最近Gitlab误删数据库与AWS的S3故障)。</p>    <p>如果使用Docker的话, <strong>开发</strong> 、 <strong>构建</strong> 、 <strong>测试</strong> 、 <strong>生产</strong> 将全部在Docker容器中执行,你需要为不同步骤编写不同的Dockerfile。当依赖变化时,仅需要稍微修改Dockerfile即可。结合构建工具 Jenkins ,就可以将整个部署流程自动化。</p>    <p>另一方面,Dockerfile将Docker镜像描述得非常精准,能够保证很强的一致性。比如,操作系统的版本,Node.js的版本,NPM模块的版本等。这就意味着,在本地开发环境运行成功的镜像,在 <strong>构建</strong> 、 <strong>测试</strong> 、 <strong>生产</strong> 环境中也没有问题。还有,不同的Docker容器是依赖于不同的Docker镜像,这样他们互不干扰。比如,两个Node.js应用可以分别使用不同版本的Node.js。</p>    <p>从集群管理角度理解Docker</p>    <p>架构规模越来越大的时候,你有必要引入集群了。这就意味着,服务器由1台变成了多台,同一个应用需要运行多个备份来分担负载。当然,你可以手动对集群的功能进行划分: Nginx服务器,Node.js服务器,MySQL服务器,测试服务器,生产服务器...这样做的好处是简单粗暴;也可以说财大气粗,因为资源闲置会非常严重。还有一点,每次新增节点的时候,你就不得不花大量时间进行安装与配置,这其实是一种低效的重复劳动。</p>    <p>下载Docker镜像之后,Docker容器可以运行在集群的任何一个节点。一方面,各个组件可以共享主机,且互不干扰;另一方面,也不需要在集群的节点上安装和配置任何组件。至于整个Docker集群的管理,业界有很多成熟的解决方案,例如 Mesos , Kubernetes 与 Docker Swarm 。这些集群系统提供了 <strong>调度</strong> , <strong>服务发现</strong> , <strong>负载均衡</strong> 等功能,让整个集群变成一个整体。</p>    <h3>如何用Docker?</h3>    <p>编写Dockerfile</p>    <p>正确的 Dockerfile 是这样的:</p>    <pre>  <code class="language-javascript"># 使用DaoCloud的Ubuntu镜像  FROM daocloud.io/library/ubuntu:14.04    # 设置镜像作者  MAINTAINER Fundebug <help@fundebug.com>    # 设置时区  RUN sudo sh -c "echo 'Asia/Shanghai' > /etc/timezone" && \      sudo dpkg-reconfigure -f noninteractive tzdata    # 使用阿里云的Ubuntu镜像  RUN echo '\n\  deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse\n\  deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse\n\  deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse\n\  deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse\n\  deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse\n\  deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse\n\  deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse\n\  deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse\n\  deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse\n\  deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse\n'\  > /etc/apt/sources.list    # 安装node v6.10.1  RUN sudo apt-get update && sudo apt-get install -y wget    # 使用淘宝镜像安装Node.js v6.10.1  RUN wget https://npm.taobao.org/mirrors/node/v6.10.1/node-v6.10.1-linux-x64.tar.gz && \      tar -C /usr/local --strip-components 1 -xzf node-v6.10.1-linux-x64.tar.gz && \      rm node-v6.10.1-linux-x64.tar.gz     WORKDIR /app    # 安装npm模块  ADD package.json /app/package.json    # 使用淘宝的npm镜像  RUN npm install --production -d --registry=https://registry.npm.taobao.org    # 添加源代码  ADD . /app    # 运行app.js  CMD ["node", "/app/app.js"]</code></pre>    <p>有几点值得注意的地方:</p>    <ul>     <li> <p>使用国内 DaoCloud 的Docker仓库,阿里云的ubuntu镜像以及淘宝的npm镜像,否则会出事情的;</p> </li>     <li> <p>将时区设为Asia/Shanghai,否则日志的时间会不大对劲;</p> </li>     <li> <p>使用.dockerignore忽略不需要添加到Docker镜像的文件和目录,其语法与.gitigore一致;</p> </li>    </ul>    <p>更重要的一点是, <strong>package.json需要单独添加</strong> 。Docker在构建镜像的时候,是一层一层构建的,仅当这一层有变化时,重新构建对应的层。如果package.json和源代码一起添加到镜像,则每次修改源码都需要重新安装npm模块,这样木有必要。所以,正确的顺序是: 添加package.json;安装npm模块;添加源代码。</p>    <p>构建Docker镜像</p>    <p>使用 <strong>docker build</strong> 命令构建Docker镜像</p>    <pre>  <code class="language-javascript">sudo docker build -t fundebug/nodejs .</code></pre>    <p>其中,-t选项用于指定镜像的名称。</p>    <p>使用 <strong>docker images</strong> 命令查看Docker镜像</p>    <pre>  <code class="language-javascript">sudo docker images  REPOSITORY                    TAG                 IMAGE ID            CREATED             SIZE  fundebug/nodejs               latest              64530ce811a1        32 minutes ago      266.4 MB  daocloud.io/library/ubuntu    14.04               b969ab9f929b        9 weeks ago         188 MB</code></pre>    <p>可知,fundebug/nodejs镜像的大小为266.4MB,在ubuntu镜像的基础上增加了80MB左右。</p>    <p>运行Docker容器</p>    <p>使用 <strong>docker run</strong> 命令运行Docker容器</p>    <pre>  <code class="language-javascript">sudo docker run -d --net=host --name=hello-fundebug fundebug/nodejs</code></pre>    <p>其中,-d选项表示容器在后台运行;--net选项指定容器的网络模式,host表示与主机共享网络;--name指定了容器的名称。</p>    <p>使用 <strong>docker ps</strong> 命令查看Docker容器</p>    <pre>  <code class="language-javascript">sudo docker ps  CONTAINER ID        IMAGE                             COMMAND                  CREATED             STATUS              PORTS               NAMES  e8eb5473970c        fundebug/nodejs                   "node /app/app.js"       37 minutes ago      Up 37 minutes                           hello-</code></pre>    <p>可知,COMMAND为"node /app/app.js",表示容器中运行的命令。这是我们再Dockerfile中使用CMD指定的。不妨使用 <strong>docker exec</strong> 命令在容器内执行ps命令 <strong>查看容器内的进程</strong> :</p>    <pre>  <code class="language-javascript">sudo docker exec hello-fundebug ps -f  UID        PID  PPID  C STIME TTY          TIME CMD  root         1     0  0 15:14 ?        00:00:00 node /app/app.js</code></pre>    <p>可知,容器内的1号进程即为node进程 <strong>node /app/app.js</strong> 。在Linux中,PID为1进程按说是唯一的,即init进程。但是,容器使用了内核的Namespace机制,为容器创建了独立的PID空间,因此容器中也有1号进程。</p>    <p>测试</p>    <p>使用curl命令访问:</p>    <pre>  <code class="language-javascript">curl localhost:3000  Hello Fundebug!</code></pre>    <h3>是否用Docker?</h3>    <p>一方面,使用Docker能够带来很大益处;另一方面,引入Docker必然会有很多挑战,需要熟悉Docker才能应对自如。 <strong>想必这是一个艰难的决定</strong> 。如果从长远的角度来看,Docker正在成为应用开发,部署,发布的标准技术,也许我们不得不用开放的心态对待它。</p>    <p>作为Node.js开发者,真正理解Docker可能需要一些时间,但是它可以给你带来很多便利。</p>    <h3>参考链接</h3>    <ul>     <li> <p><a href="/misc/goto?guid=4958986608713928133" rel="nofollow,noindex">DOCKER基础技术:LINUX NAMESPACE(上)</a></p> </li>     <li> <p><a href="/misc/goto?guid=4958986608823436229" rel="nofollow,noindex">DOCKER基础技术:LINUX NAMESPACE(下)</a></p> </li>     <li> <p><a href="/misc/goto?guid=4958986608928671167" rel="nofollow,noindex">DOCKER基础技术:LINUX CGROUP</a></p> </li>     <li> <p><a href="/misc/goto?guid=4959746773966808480" rel="nofollow,noindex">从GITLAB误删除数据库想到的</a></p> </li>     <li> <p><a href="/misc/goto?guid=4959746774049044866" rel="nofollow,noindex">AWS 的 S3 故障回顾和思考</a></p> </li>    </ul>    <p> </p>    <p> </p>    <p>来自:https://segmentfault.com/a/1190000008945039</p>    <p> </p>