如何设计稳定性横跨全球的Cron服务 经验

致Cron任务的加载丢失,或者加载多次重复的Cron任务。 大多数基础服务在数据中心(比如Mesos)加载逻辑任务时都会为这些任务命名,这样方便了查看任务的状态,终止任务,或者执行其他的维护操作。解决幂等性的一个合理的解决方案是

ArlField 2016-10-12   4816   0

[译]从LinkedIn,Apache Kafka到Unix哲学 经验

Proxy Making Apache Kafka Elastic With Apache Mesos Hands-free Kafka Replication: A lesson in operational

jopen 2015-09-11   27066   0

我的编程之路——知识管理与知识体系 经验

ProgramModel:编程模型 ResManager:资源管理,典型的就是Yarn和Mesos ServiceCoordination:服务发现和服务调度,典型的就是Zookeeper和

mango_yao 2016-06-29   67627   0
Java  

Docker 介绍: 相关技术 经验

Flynn), multi-node orchestration (maestro, salt, mesos, openstack nova), management dashboards (docker-ui

jopen 2013-12-20   59599   0

Hadoop MapReduceV2(Yarn) 框架 经验

Container 是 Yarn 为了将来作资源隔离而提出的一个框架。这一点应该借鉴了 Mesos 的工作,目前是一个框架,仅仅提供 java 虚拟机内存的隔离 ,hadoop 团队的设计思路应该后续能支持更多的资源调度和控制

jopen 2014-09-11   22474   0
P158

  apache-spark源码走读 文档

ask提交到对应的worker. Spark支持以下几种部署模式1)standalone 2)Mesos 3) yarn. 这些部署模式将作为taskscheduler的初始化入参。 RDD接口(RDD

bxingqing 2017-06-12   1332   0

理解Docker单机容器网络 经验

,支持跨主机container netwoking;第三方容器集群调度和服务编织工具蓬勃发展,如 Kubernetes 、 mesos 、 flannel 以及 rancher 等;国内基于Docker的云服 务及产品也 如雨后春

jopen 2016-01-15   63000   0

学习笔记:The Log(我所读过的最好的一篇分布式技术文章) 经验

ZooKeeper:解决分布式系统的同步、协作问题(也可能受益于更高抽象层次的组件如helix、curator). Mesos、YARN:解决虚拟化和资源管理问题。 嵌入式的组件Lucene、LevelDB:解决索引问题。

jopen 2015-07-20   53392   0

传统企业应用容器化的痛点、坑和解决之道 经验

time),但是容器管理平台的标准至少有三家(Kubernetes、Docker Swarm、Mesos)在做,谁能占上风,目前也没有一个绝对的,新的产品和技术可能也会冒出来。标准不统一,导致大家在使用过程当中,技术选型的时候会有挑战。

binj4922 2016-10-08   16499   0

每个软件工程师都应该知道的有关实时数据的统一概念 经验

用于处理多个系统之间的协调,或许会从诸如 Helix 或者 Curator 等高级别的抽象中得到一些帮助。 Mesos 和 YARN 用于处理流程可视化和资源管理。 Lucene 和 LevelDB 等嵌入式类库做为索引。

jopen 2014-02-10   98975   0
P44

  the log:每个程序员都应该知道有关实时数据的统一抽象 文档

Zookeeper处理系统之间的协调的很多问题。 (或许诸如Helix 或Curator等高级别抽象可以有些帮助)。 · Mesos和YARN 处理虚拟化(virtualization)和资源管理。 · Lucene和LevelDB等嵌入式类库做为索引。

june.zk 2016-09-12   479   0
P69

  大数据技术平台调研报告 文档

资源管理 Twitter Mesos Google Borg的翻版 第 页 共 5 页 密级 机密 WJRJ-000053-1101XQ Hadoop Yarn 类似于Mesos 日志收集系统 Facebook

dszhao 2017-03-22   3018   0
1 2 3 4 5 6 7 8 9 10