基于Scala的产品开发实践 经验

后端平台可以简单划分为三个层次:Web应用服务层(Spray + Nginix)、数据分析层(MESOS + Spark)以及存储层(主要用于存储分析数据DataSet,MySQL)。显然,MySQL会成为水平伸缩的最大障碍。

ohew2481 2017-03-13   28958   0

那些年,追过的开源软件和技术 问答

机器学习,各个领域的教授和丰富工业经验的学生,它们做出了很多有意思得到工业界认可的技术。 Mesos :一个分布式环境的资源管理平台,它使得Hadoop、MPI、Spark作业在统一资源管理环境下执行。它对Hadoop2

jopen 2015-03-09   47481   5

50+ 顶级开源 Kubernetes 工具列表 经验

度集成,开箱即用,包括 Kubernetes、Docker、AWS ECS 和 Apache Mesos。Sysdig Secure 可实施服务感知策略,阻止攻击并分析历史记录及监控集群性能。 链接:

码头工人 2019-01-04   13402   0

直击阿里双11神秘技术:PB级大规模文件分发系统“蜻蜓” 经验

容器技术的优点自然不需要多介绍了,全球来看,容器技术以Docker为主占了大部分市场,当然还有其他解决方案:比如rkt,Mesos Uni Container,LXC等,而阿里的容器技术命名为Pouch。早在2011年,阿里就

huiK7yd9 2017-11-14   34171   0

算法与算法工程师,技术与技术人员 资讯

—新兴的rust、golang等语言试图解决多核时代出现的并发问题,hadoop、spark、mesos试图屏蔽分布式系统底层的细节……可以预见,以后的并行编程和分布式编程门槛将会大大降低。这个过程是

jopen 2015-12-04   27631   0
算法  

国外程序员整理的系统管理员资源大全 资讯

-Cobbler是一个Linux安装服务器,允许快速地构建网络安装环境 Eucalyptus -兼容AWS的开源私有云软件 Mesos -开发和运行能效高的分布式系统。 OpenNebula -一个用于系统管理员和研发运维的用户驱动的云管理平台

jopen 2015-01-18   61556   0

Hadoop和大数据:60款顶级大数据开源工具 资讯

;用在 磁盘上时,其速度比MapReduce最多快10倍。它可以与Hadoop和Apache Mesos一起使用,也可以独立使用。 支持的操作系统:Windows、Linux和OS X。 相关链接:

jopen 2015-10-23   46305   0
Hadoop  

Docker 架构私有云的机遇和挑战 资讯

Windows Rocket Consul JSON K8s Ubuntu RunC Etcd INI Mesos CentOS Docker YAML Swarm Redhat Compose Ubuntu None

jopen 2016-01-04   36498   0

解读2015之大数据篇:大数据的黄金时代 资讯

2015年9月16日,Apache Kylin与Spark,Kafka,Storm,H2O,Flink,Elasticsearch,Mesos等一起荣获InfoWorld Bossie Awards 2015:最佳开源大数据工具奖,这是业界对Kylin的认可

jopen 2016-01-08   53926   0

算法、技术及其他 资讯

—新兴的rust、golang等语言试图解决多核时代出现的并发问题,hadoop、spark、mesos试图屏蔽分布式系统底层的细节……可以预见,以后的并行编程和分布式编程门槛将会大大降低。这个过程是

jopen 2015-08-18   27691   0
算法  

Apache Spark入门攻略 经验

Spark的部署方式包括standalone、Hadoop V1 SIMR、Hadoop 2 YARN/Mesos。Apache Spark需求一定的Java、Scala或Python知识。这里,我们将专注standalone配置下的安装和运行。

cebp 2015-07-12   61974   0

使用consul实现分布式服务注册和发现 经验

要充分发挥出Consul的优势,在真实方案中,我们还要考虑与 Docker ,HAProxy,Mesos等工具的结合。 © 2015, bigwhite . 版权所有. 本文来自: Tony Bai

jopen 2015-07-30   66568   0
P13

  国外程序员整理的系统管理员资源大全 文档

务器,允许快速地构建网络安装环境 · Eucalyptus -兼容AWS的开源私有云软件 · Mesos -开发和运行能效高的分布式系统。 · OpenNebula -一个用于系统管理员和研发运维的用户驱动的云管理平台

itudoumao 2015-03-31   4235   0

OCI 和 runc:容器标准化和 docker 经验

coreOS 推出的 rkt);其次容器上层抽象(容器集群调度,比如 kubernetes、mesos 等)和 docker 紧密耦合,docker 接口的变化将会导致它们无法使用。 总的来说,如果容器以

ROSJacob 2017-11-06   33214   0
Docker  

60款与Hadoop和大数据相关的顶级开源工具 资讯

倍;用在磁盘上时,其速度比 MapReduce 最多快 10 倍。它可以与 Hadoop 和 Apache Mesos 一起使用,也可以独立使用。 支持的操作系统: Windows 、 Linux 和 OS X

jopen 2015-08-10   60740   0
Hadoop  

微博 Docker 化混合云平台大剖析 资讯

而调度层则透过API,使用调度工具将API进行包装,而微博4种常用的调度工具组合包含:Docker、Swarm、Mesos及微博自主开发的Dispatch。 而最上层的排程层则是负责负载平衡。目前,微博的后端服

jopen 2016-01-01   21261   0
P20

  Docker 简介 文档

Flynn), multi-node orchestration (maestro, salt, mesos, openstack nova), management dashboards (docker-ui

yxwpx 2015-07-20   786   0

成为专业程序员路上用到的各种优秀资料、神器及框架 经验

Ambari: 大数据平台搭建、监控利器;类似的还有CDH Tachyon:分布式内存文件系统 Mesos:计算框架一个集群管理器,提供了有效的、跨分布式应用或框架的资源隔离和共享 Impala:新一代

ymquan1987 2017-03-09   38211   0

Hadoop 新 MapReduce 框架 Yarn 详解 经验

启。 Container 是 Yarn 为了将来作资源隔离而提出的一个框架。这一点应该借鉴了 Mesos 的工作,目前是一个框架,仅仅提供 java 虚拟机内存的隔离 ,hadoop 团队的设计思路应该后续能支持更多的资源调度和控制

jopen 2014-05-14   171737   0

一篇文看懂Hadoop:风雨十年,未来何去何从 资讯

由于占据了Hadoop的地利,业界对其在资源管理领域未来的 前景非常看好。 传统其他资源管理框架如Mesos,还有现在兴起的Docker等都会对YARN未来的发展产生影响。如何提高YARN性能、如何与容器

jopen 2016-03-10   25303   1
Hadoop  
1 2 3 4 5 6 7 8 9 10