Diego、HashiCorp的Nomad、Kontena、Rancher的Cattle、Apache Mesos、Amazon ECS等进行竞争，来证明自己比那些产品都要优秀。而现如今已经是完全不同的一幅景象

https://github.com/Dataman-Cloud/swan ），Swan基于Mesos来做容器化应用的动态调度，同时Swan实现了DNS和Proxy支持服务发现和负载均衡，跟Goog

当然，它也能很好的完成查询其他类型的(Docker-esque) API生成的JSON(e.g Marathon, Mesos, Consul etc.)JQ提供了一个非常广泛的API，用于访问和处理JSON.更多信息可以在这里找到:

。这个生态圈中的产品可大致分为如下几类： 容器编排管理 以 Google Kubernets 和 Apache Mesos 为代表。主要解决基于容器组成分布式集群应用的管理工作，例如对容器的运行状态的监控、容器自动化的

支撑微服务的可选技术框架比较多，每个公司都可以根据自身情况选择合适的技术框架。比如： Kubernetes Mesos+Docker OpenShift V3 Machine + Swarm + Compose OpenStack

需要去研究的，若仅仅是将Docker作为工具使用，那关注点可以放在相关的工具如Rancher、Mesos、Kubernetes等，当然了，若时间允许，了解源码好处多多，可以从底层弄清楚Docker的各种机制，有利无弊。

资源调度大体上可以分为两大类，一类的自带的资源调度模块，另外一类是外部的资源调度框架，比如 Mesos、YARN 和 IBM Platform EGO 等。构建 Spark Application 的运行环境，创建

对于你来说最基础的PaaS系统。一个典型的开始点是使用一个集群化方案，比如配合Docker使用Mesos或者Kubernetes。后面的系列我们会看看如何基于软件部署方法例如NGINX，可以方便的在微

其他令人兴奋的框架的不断涌现，并获得新的动力，如 Flink，Ignite，Samza，Kudu 等。一些思想领袖认为 Mesos 的出现（一个框架以 “对你的数据中心编程就像是单一的资源池”），不需要完全的 Hadoop。即

的实时ql(query language)上迈出了脚本。在服务化方面，storm一直在朝着融入mesos框架的方向努力。同时，storm也在实现细节上不断地优化，使用很 多优秀的开源产品，包括kryo

其重建。 2.4 Spark任务的部署 Spark的集群部署分为Standalone、Mesos和Yarn三种模式，我们以Standalone模式为例，简单介绍Spark程序的部 署。如图7示

google服务器集群的管理系统，类似于百度的Matrix，阿里的fuxi，腾讯的台风平台等等，还有开源的mesos Borg provides three main benefits: it

Streaming：基于Spark的实时计算框架 Tachyon：分布式内存文件系统 Mesos：计算框架一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享Impala：新一代开源大数据分析引擎，提供Sql语义，比-

appName参数是你的应用程序的名字，将会在集群的ＵＩ上显示。master是Spark、Mesos、或者YARN 集群URL，或者一个专用的字符串”local“使其在本地模式下运行。在实践中，当

rapid setup of network installation environments. Mesos - Develop and run resource-efficient distributed

container 替换上去。分布式脚本执行，变成了分布式容器替换了。当然这种标准化的操作，用 mesos marathon 已经完美解决了。 使用 Docker 之后，无法再基于 IP 做管理了。倒不是给每个

Flink、Ignite、Samza、Kudu 等 ，这些框架的发展势头也很好。一些思想领袖认为，Mesos（数据中心资源管理系统，把数据中心当作一台大计算资源池进行编程）的出现也刺激了对 Hadoop 的需求。

master 只能被用来从 YARN 上请求资源。 和Spark Standalone 和 Mesos 模式不同的是， master 的地址被指定在 --master 参数中，在 YARN 模式中，

Apache Spark 是用于大规模数据处理的快速和通用引擎，它运行在 Hadoop，Mesos，可以离线或云端运行，具有高速、可扩展等特点。近年来，在 IBM 等大公司和众多社区贡献者的推动下，Spark

这些组件按照容器的标准（比如Docker）进行封装，并在微服务的框架下形成并行数据库的管理系统（比如通过K8s或者Mesos）。服务发 现、配置管理、健康管理、鉴权管理由运行框架实现，从而达到各个组件高可用、松耦合、屏蔽