Apache Spark 1.2.0发布:引入基于Netty的实现,支持高可用,并提供机器学习API 资讯

之间有什么关系吗? Spark可以在很多不同的环境中运行,从和已部署的Hadoop共存,到运行在Mesos集群中,还可以运行在像 Databricks Cloud这样的托管服务中。在Hadoop环境中,

jopen 2015-01-10   22324   0

盘点五类最受欢迎的开源云项目 资讯

服务开通和管理工具 Ansible——一个用于部署系统和应用的自动化引擎。 Apache Mesos——集群管理系统,为分布式系统或框架提供有效的资源隔离及共享。它由美国加州大学的AMPLab创建

d3fw 2015-04-28   16997   0
P17

  微服务实例-构建分布式爬虫系统-数人科技 文档

alesforce Zendesk分布式OS + 存储PaaS 各种宝、云Ceph HDFS Mesos+Docker开源云计算时代业务技术型云集成商开源技术 + 云端服务专有技术 + 线下服务 16

dmc3 2015-07-25   1277   0
网络爬虫   方案   HTTP   HTML   Java  

2016 GIAC全球互联网架构大会日程如何安排? 问答

下一代微服务不可缺的底层支撑。本专题主要讨论容器技术的原理架构和实践经验,包括 Docker、Mesos、Kubernetes等。专题强调实践和交流,话题设置围绕容器、运维、云计算等技术领域,力求全方

活动家becky 2016-10-12   1296   0

Apache软件基金会庆祝15年的开放源码创新和社区的领导地位 资讯

Deltacloud, Gora, Isis, Jena, Kitty, Lucy, ManifoldCF, Mesos, NPanday, Nuvem, OODT, OpenNLP, SIS, Stanbol, Wave

jopen 2014-11-24   28520   0
Apache  

微服务核心架构梳理 经验

stack管理虚拟化,容器时代如何管理容器呢?这就要看看容器编排引擎了。 Apache mesos mesos是基于master,slave架构,框架决定如何利用资源,master负责管理机器,sl

Robofox2014 2018-12-18   17241   0

使用Kubernetes来管理Docker扩展 经验

和CPU利用率的调度还有一些没有修复的问题。还有整合 Apache Mesos的调度 也在紧锣密鼓的进行中。Apache Mesos是一款分布式系统的框架,提供了资源管理的API,和跨整个数据中心或云环境的调度。

jopen 2015-10-28   31984   0
Docker  

Docker结合OpenStack在思源的经验分享 经验

面向容器的开发以及我们对Docker本身逐步的摸索,才敢真正把环境切换到Kubernetes/Mesos上来,进而推进Magnum。借用京东鲍永成的那句话:”让能够接受新世界的团队慢慢先适应“。

jopen 2016-01-06   51428   0

分布式机器学习的故事 资讯

这个问题,现在有了YARN操作系统。(YARN是一个仿照UC Berkeley AMPLab的Mesos做的系统。关于这个“模仿”,又有另一个故事。) 故事 pLSA和MPI 我2007年毕业后加

jopen 2014-01-22   30102   0

专访王峰:Hadoop生态下一代计算引擎-streaming和batch的统一 资讯

基本比较通用了,没有必要找替代物了,但YARN还有类似的系统,如Mesos。不过它与YARN理念不完全一样,也有不少场景在用Mesos。 刚刚说,作为Hadoop生态系统最大的生长空间其实在于YA

jopen 2016-03-02   33897   0
Hadoop  
P10

  大数据平台技术框架选型分析 文档

HDFS GFS在Hadoop中的实现 资源管理 Twitter Mesos Google Borg的翻版 Hadoop Yarn 类似于Mesos 日志收集系统 Facebook Scribe Facebo

guet_lee 2017-01-12   675   0

三年后,我们从 Docker 转到了 RKT 经验

Docker 正在尝试将 Swarm 融入到 DockerCore,以此来打击 Kubernetes,Mesos,Marathon 和 Nomad。 Docker 确实有简化 Swarm,使它轻松被广大 Docker

GerardoWolf 2016-09-14   18020   0
Docker  

张逸:并行分布式计算框架Spark的现状与未来发展 资讯

、交互式、流处理等多种方式;而从大数据平台而言,已有成熟的 Hadoop、Cassandra、Mesos 以及其他云的供应商。Spark 整合了主要的数据处理模型,并能够很好地与现在主流的大数据平台集成。下图展现了

jopen 2014-11-24   36172   1
Spark  

运维平台规划体系全介绍 资讯

署到哪个IDC、哪个服务器,研发人员不用关心。后来Twitter根据Borg的思想,也开源实现了一个平台——Mesos,不过Mesos对 LongTime的服务调度(如Nginx)支持不是太好,更适合MapReduce的事

jopen 2015-05-30   26874   0
平台  
P9

  Spark 笔记 文档

Spark程序运行过程 Spark 传统上与Mesos“焦不离孟”,也可支持Amazon EC2和YARN。底层任务调度器的基类是个trait,它的不同实现可以混入实际的执行。例如,在Mesos上有两种调度器实现,一种把每个节点的所有

ylx1214 2015-04-18   1526   0

三年后,我们从 Docker 转到了 RKT 经验

Docker 正在尝试将 Swarm 融入到 DockerCore,以此来打击 Kubernetes,Mesos,Marathon 和 Nomad。 Docker 确实有简化 Swarm,使它轻松被广大 Docker

yiyilove 2016-09-18   7805   0
Docker  

Awesome 干货系列索引 经验

awesome-machine-learning awesome-meteor awesome-mesos by @dharmeshkakadia awesome-mesos by @parolkar awesome-nodejs by

dwd4 2015-03-31   48958   0
awesome  

2018 年 Kubernetes 采用情况调查报告 经验

Kubernetes 进行容器编排。在明年,这个数据有望增长到 65%,而其他编排平台(Docker Swarm,Mesos 等)的使用将会减少或保持不变。 对于 Kubernetes 支持的应用程序类型,有一种常见

五嘎子 2018-12-13   16095   0

再谈容器标准:CoreOS总结OCI、CNCF和AppC的发展 资讯

建容器,然后可以在rkt、Amazon EC2 Container Service(ECS)、Kubernetes或Mesos上运行,所有这些平台都不需要重新打包。我们相信这是容器实现标准化最重要的一方面,所以我 们想就此继续讨论,诚邀来自社区的成员加入我们。

jopen 2015-12-24   6680   0
容器  

一个虚拟化老兵的Docker浅见 经验

不深刻。 可以明显看出分为三个阵容:基于IaaS云平台,基于Kubernetes,基于Mesos;单从数量上看势均力敌。为什么会这样,笔者认为第一Docker还在迅速发展过程中,到底怎么做大家

RonniePring 2016-02-06   24305   0
Docker  
1 2 3 4 5 6 7 8 9 10