大数据技术大合集:Hadoop家族、Cloudera系列、spark、storm 经验

是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms

jopen 2014-11-22   190566   0

Kubernetes系统架构简介 经验

目前受到各大巨头及初创公司的青睐,如Microsoft、VMWare、Red Hat、CoreOS、Mesos等,纷纷加入给Kubernetes贡献代码。随着Kubernetes社区及各大厂商的不断改进、发

jopen 2014-11-04   52540   0

在Docker中运行PHP项目的探索之旅 经验

六、继续探索 后面打算用Docker Swarm来简单做下集群管理,未来对调度需求比较大时可能会尝试下Mesos或者Kubernetes。不过关于容器的生态链都发展的非常快,可能等需要的时候又有更好的方案了吧。

DelorasLeve 2016-02-28   11918   0
Docker  

[译] 如何选择合适的分布式机器学习平台 经验

迎通过公众号菜单「联系我们」进行投稿。 推荐阅读 一键搭建深度学习平台,基于Docker/Mesos和NVIDIA GPU详细教程 迭代速度慢?成熟的机器学习流如何设计:微博大规模机器学习框架Weiflow揭秘

MarWingfiel 2017-08-02   43924   0

开源容器集群管理系统Kubernetes架构及组件介绍 经验

到各大巨头及初创公司的青睐,如Microsoft、VMWare、Red Hat、CoreOS、Mesos等,纷纷加入给Kubernetes贡献代码。随着Kubernetes社区及各大厂商的不断改进、发

jopen 2015-03-29   40609   0

解读2014之Docker篇:才气、勇气、运气 资讯

么多容器上部署你的应用。当你在几百台服务器上部署几万个容器的时候, Kubernetes 、 Mesos 这些调度框架的作用就显现出来了,所以分布式应用相关的开源软件也是新一年的风向标。 回到国内

wp5x 2015-01-10   28686   0
Docker  

优秀大数据GitHub项目一览 资讯

。Spark可以运行于很多环境中,如独立的集群、Hadoop YARN、EC2和Apache Mesos。Apache Spark也能从Hive、HBase、Tachyon、Cassandra和HDFS等数据源读取数据。

jopen 2016-01-18   31229   0
P49

  Deep dive into Spark Streaming 文档

KryoSerializer Use Spark stand-alone mode rather than Mesos 46. Step 2: Optimize for Lower LatencyUsing concurrent

fkd27 2015-10-17   545   0

Spark 伪分布式 & 全分布式 安装指南 经验

、Standalone Deploy Mode;二、Amazon EC2 ;三、Apache Mesos;四、Hadoop YARN。第一种方式是单机部署,不需要有依赖的资源管理器,其它三种都需要将spark部署到对应的资源管理器上。

jopen 2015-04-02   84283   0

360的容器化之路 经验

统一镜像构建标准,同时也降低了编写Dockerfile的学习成本。 调度模块就直接用的Mesos和Marathon,镜像Registry直接使用了 Registry V2因为它性能更好对高并发

jopen 2015-08-21   27363   0
360  

[译]英雄联盟是如何使用jenkins和docker的 经验

这种方式有几个相互竞争的插件,这些插件通常都是以如何维护和构建Docker云为中心。迄今为止,这种插件有Kubernetes,Mesos以及“纯”Docker方式。 如何选择模式? 两种模式都能有效的解决问题。在Riot,我们感

QXPDar 2016-04-22   28321   0
Docker   Jenkins  

不同的瑞士军刀:对比 Spark 和 MapReduce 经验

可能更便宜。 兼容性 Spark 既可以单独运行,也可以在 Hadoop YARN 上,或者在预置 Mesos 上以及云端。它支持实现 Hadoop 输入范式的数据源,所以可以整合所有 Hadoop 支持的数据源和文件格式。

jopen 2016-01-14   21447   0

开辟 Docker 的分支:分离的讨论现在已经摆上台面 经验

该公司同样提供了基于云的容器相关支持服务。 “如果你的团队在深度使用Kubernetes、Mesos或Cloud Foundry,你需要一个稳定、简单、无奇的容器实现方案,仅有最少的基本功能,由社

BetKeller 2016-09-08   15139   0
Docker  

谈谈创业公司的技术选型 经验

我们是微服务的坚定践行者,微服务技术的核心是容器编排系统,现在最流行的三个容器编排系统是 Kubernetes,Mesos,Swarm。 通过比较我们选择了 Kubernetes(简称 k8s),因为 Kubernetes

txsq9181 2016-09-21   10375   0

当Node.js遇见Docker 经验

群的节点上安装和配置任何组件。至于整个Docker集群的管理,业界有很多成熟的解决方案,例如 Mesos , Kubernetes 与 Docker Swarm 。这些集群系统提供了 调度 , 服务发现

AlvinGraynd 2017-04-05   94783   0

羊年八问:微服务、容器与Docker 资讯

多的惊讶。 我相信微服务会是大的趋势,所以我认为企业也会不断探索容器(Docker、 Mesos 、 Rocket 或者任何不久我们将无疑会看到的其他替代品)如何融入到工作中。在最近的一些讨论

jopen 2015-01-26   14844   0
Docker  

蘑菇街11.11:私有云平台的Docker应用实践 资讯

待解决,包括容器本身的隔离性问题,集群的弹性调度问题等等。同时我们也很关注Docker相关的开源软件Kubernetes、Mesos、 Hyper、criu、runC的发展,未来将引入容器的热迁移,Docker Daemon的热升级等特性。

jopen 2015-11-11   25948   0
Docker  

事实上,Spark是一项非常值得学习的技术 资讯

HIVE, HBase, Cassandra等) 既可以在Hadoop YARN或者Apache Mesos等集群上运行,也可以单机运行。 Spark核心组件可以和其他一些高效的软件库无缝连接使用。这些软件库包括SparkSQL

jopen 2016-02-15   34562   0
Spark  

Spark 是否真的比 MapReduce 技高一筹 资讯

可能更便宜。 兼容性 Spark 既可以单独运行,也可以在 Hadoop YARN 上,或者在预置 Mesos 上以及云端。它支持实现 Hadoop 输入范式的数据源,所以可以整合所有 Hadoop 支持的数据源和文件格式。

jopen 2016-02-19   29104   0

B站运维团队成长的血泪史 经验

上了,用Host方式。今年下半年,我们的一个大目标就是Docker接入其它线上业务。目前使用的Mesos Macvlan方式已经在踩水过程中。 问:Hadoop 相关的运维需要做吗? 答:大数

JaninaMccol 2016-09-05   31218   0
1 2 3 4 5 6 7 8 9 10