P6

  Yarn是一个分布式的资源管理系统 文档

 Yarn 背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapR

光荣复兴 2014-03-30   3987   0

Git分布式文件管理工具与使用GitHub托管项目 经验

Git是一个分布式的版本控制系统,GitHub可以托管各种git库,并提供一个web界面,但与其它像 SourceForge或Google Code这样的服务不同,GitHub的独特卖点在于从另外一个

jopen 2014-01-04   18955   0

lucene + hadoop 分布式搜索运行框架:Nut 经验

的原则,以此原则形成以分布式并行计算为核心的架构设计。以分布式并行计算为核心的架构设计是Nut区别于Solr、Katta的地方。 Nut是一个Lucene+Hadoop分布式并行计算搜索框架,能对

jopen 2014-01-02   13759   0

hadoop-2.4.0完全分布式集群搭建 经验

注意:第一次可能会提示输入yes or no,之后就可以直接ssh到其他主机上去了。 3.配置jdk和hadoop环境变量 版本:jdk1.7.0_55 hadoop-2.4.0 下载并解压到 /opt/tools/jdk1

jopen 2014-05-08   44807   0

类Google MegaStore & F1的分布式关系数据库:Wasp 经验

Wasp 是类Google MegaStore & F1的分布式关系数据库。 最近几年随之Bigtable和NoSQL的兴起,社区产品HBase逐步走向NoSQL系统的主流产品,优势明显然而缺点也明显,大数据平台下的业务由

jopen 2014-06-19   18154   0

基于ZeroMQ的高性能分布式RPC框架:Zerorpc 经验

Zerorpc是一个基于ZeroMQ和MessagePack开发的远程过程调用协议(RPC)实现。和 Zerorpc 一起使用的 Service API 被称为 zeroservice。Zerorpc 可以通过编程或命令行方式调用。

jopen 2014-07-16   37157   0

构建大型云计算平台分布式技术的实践 经验

构建大型云计算平台分布式技术的实践 作者 章文嵩 发布于 2014年7月23日 | 本文基于章文嵩博士在2014年7月18日的全球架构师峰会ArchSummit上的主题演讲《构建大型云计算平台分布式技术的实践》整理而成。

jopen 2014-07-29   42020   0

分布式key/value存储系统 Tair 经验

更新。 原子计数器 Tair从服务器端支持原子的计数器操作,这使得Tair成为一个简单易用的分布式计数器。 Item支持 Tair还支持将value视为一个item数组,对value中的部分i

openkk 2011-11-30   16612   0

分布式的Key-Value存储系统 Voldemort 经验

Voldemort是一个分布式键-值(Key-value)存储系统,是Amazon's Dynamo的一个开源克隆。 1.支持自动复制数据到多个服务器上。 2.支持数据自动分割所以每个服务器只包含总数据的一个子集。

openkk 2011-12-01   19124   0

分布式的Key-Value存储系统 Dynomite 经验

Dynomite 是采用 ErLang 语言开发的分布式的Key-Value存储系统。 Dynomite is an eventually consistent distributed key value

openkk 2011-12-01   16403   0

Java Cache 的HashMap实现, 适用场景及分布式ehcache实例 经验

e快5倍。 如果本地cache不能满足你的要求,ehcache是个很好的选择。不仅仅作为分布式的cache,甚至作为状态同步,ehcache都有非常优秀的案例。也可以实现多机copy。分享一个

openkk 2012-02-13   81732   0

分布式的Key-Value存储系统 Kai 经验

Kai是一个分布式key-value数据存储,启发自Amazon的Dynamo。它能够用于构建高可靠性和高可扩展性。你可以利用Kai管理海量数据,就像Dynamo存储购物车,分类等一样。 A highly

openkk 2011-12-01   13847   0

分布式日志处理和关联分析引擎 MassLogProcess 经验

MassLogProcess 是一个分布式日志处理和关联分析引擎。现在处理alpha阶段,MassLogProcess提供OSSIM类似的功能,但致力于更大数据量的日志处理和分布式计算。 当前版本包含以下组件:

jopen 2012-05-23   30501   0

用 Hadoop 进行分布式并行编程, 第 1 部分 经验

Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架,由于分布式存储对于分布式编程来说是必不可少的,这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed

jopen 2014-01-23   40789   0

可扩展Web架构与分布式系统 经验

问题以及实现目标的基础工作。 本文侧重于介绍网络系统,尽管一些准则在其他分布式系统中也是适用的。 1.1. web分布式系统的设计原则 搭建和运营一个可伸缩的web站点或者应用程序意味着什么?

jopen 2014-04-11   56152   0
P20

  分布式计算开源框架Hadoop入门实践 文档

分布式计算开源框架Hadoop介绍 ── 分布式计算开源框架Hadoop入门实践(一) 在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger

softmind 2011-10-08   6215   0

分布式系统测试在阿里云的实践 经验

分布式系统的测试是一个比较大的话题,在这里,我们仅用几个阿里云飞天分布式系统测试中比较有特点的实践方式来阐述一下我们对分布式系统测试的理解,希望对大家有所帮助。 1. 阿里云的分布式系统 飞天

jopen 2012-11-11   50374   0

基于JSON的开源分布式数据库:RethinkDB 经验

by。RethinkDB还易于安装和学习。 简单的编程模型: JSON数据模型和即时的一致性。 分布式连接,子查询,汇总,原子更新。 Hadoop的风格的map / reduce。 易于管理:

jopen 2012-11-09   24168   0

HAProxy + Keepalived + Flume 构建高性能高可用分布式日志系统 经验

保证了高可用性。 三、Flume简介 Flume是Apache提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时

jopen 2013-07-11   31389   0

Python并发分布式开发框架 asyncoro 经验

asyncore库是python的一个标准库,它是一个异步 socket的包装。我们操作网络的时候可以直接使用socket等底层的库,但是 asyncore使得我们可以更加方便的操作网络,避免直接使用socket,select,poll等工具时需要面对的复杂。

jopen 2012-07-09   21625   0
1 2 3 4 5 6 7 8 9 10