分布式采集系统 总体设计方案 贺志明 2010-4-8 第一篇 系统总体设计 1 系统流程图 2 系统体系结构 3 体系结构概述 分布式采集系统是建立在hadoop分布式文件系统和zookeepe

第3章：MapReduce—分布式计算系统 3.1. MapReduce是什么？ Python中的map和reduce 如果我们把MapReduce拆开看，就是两个单词map和reduce。在本书中

 Elasticsearch是一个开源的分布式实时搜索与分析引擎，支持云服务。它是基于Apache Lucene搜索引擎的类库创建的，提供了全文搜索能力、多语言支持、专门的查询语言、支持地理位置服务

 MooseFS是一种分布式文件系统，MooseFS文件系统结构包括以下四种角色： 　　1 管理服务器managing server (master) 　　2 元数据日志服务器Metalogger server（Metalogger）

Berkeley DB Java 版是 Voldemort 的一部分，提供了分布式的基于 K/V 的存储系统。LinkedIn 目前正在使用这套系统。 Berkeley DB Java 版 5

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数

XtreemFS 是一个为云计算互联网存储系统设计的开源分布式文件系统。 该版本最大的改进就是跨站点的文件复制以及自动进行故障转移等功能。另外客户端支持完全的元数据缓存。 项目地址： http://www

Mercurial 是一种轻量级分布式版本控制系统，采用 Python 语言实现，易于学习和使用，扩展性强。相对于传统的版本控制，具有如下优点： 更轻松的管理。 传统的版本控制系统使用集中式的 repository，一些和

LIXA (LIbre XA) 是一个事务管理器，实现了分布式事务处理 XA 规范和 TX(transaction demarcation) 规范。 LIXA 0.7.0 发布了，这是 LIXA

一个新的开源分布式版本控制系统。 项目地址： http://veracity-scm.com/ 各种分布式版本控制软件主要功能对比 Veracity Git Mercurial Bazaar Fossil

dCache是一个分布式的存储解决方案。它组织多台电脑的存储，合并后可用于存储数据;最终用户只是看到了大量的存储空间。由于最终用户不必知道哪台计 算机上的数据存储，其数据可从一台计算机迁移到另一台没有

nodeNickNames，支持分区共享内存。 libGlass 提供了一组可伸缩的组件用来执行分布式计算。应用程序在需要的情况下被当作是可重用的组件。该框架适合新的应用程序，同时对一些老应用也同样可用，而无需去改写。

NoSQL数据库为它们提供了另一种可选的数据存储方式。分布式缓存能被用作NoSQL数据库吗？Ehcache的Greg Luck 撰文 描述了分布式缓存与NoSQL数据库的相似性。InfoQ就此采访了他，讨论了该方案的利弊之处。

问题 最近项目中遇到了一个分布式系统的并发控制问题。该问题可以抽象为：某分布式系统由一个数据中心D和若干业务处理中心 L1，L2 … Ln 组成；D本质上是一个 key-value 存储，它对外提供基于

Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api，实现对多台计算机cpu，内存，硬盘的统一利用，从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算

Ceph 0.91 发布，我们正在快速的达到 Hammer 版本的特性冻结阶段，但还有一些更多的开发版需要推出。Ceph 0.91 最值得关注的是 CephFS 基于子树的配额支持（ceph-fuse、libcephfs 客户端支持）；重写了 librados API 的监控提醒方法，这主要用于 RBD 和 RGW 上；OSDMap checksum 确保 maps 在集群内永远一致；librados 新的 API 调用和 librbd 用于在 posix_fadvise 后的 IO 提示建模，改进了对每个 PG 状态的存储。

能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。 尽 管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoo

设计用来存储 JSON 文档的分布式数据库，可通过简单操作实现多机分布式存储。支持表的联合和分组查询。 特点： 简单编程模型 JSON 数据模型和一致性 分布式联合查询、子查询、聚合查询和原子更新操作

2.2.0 发布了， eos (easy operation service) 是公司内部开发的分布式服务调用框架，基于zookeeper,netty,hessian等成熟框架。在使用上与spring

delete, select, update语句, 支持不跨shard的事务. 当然, 由于Mysql分布式的局限性, Atlas Sharding对于SQL的特性支持也是有限的, 但是应付日常的需求, 已经足够了