要的抽象（概念）是一个弹性分布式数据集，它是一个元素集合，划分到集群的不同节点上，可以被并行操作。RDDs的创建可以从Hadoop文件系统（或者任何支持Hadoop的文件系统）上的一个文件开始，或者通

Ceph从2004年提交了第一行代码，至今为止已经10年了。这个起源于Sage博士论文，最早致力于开发下一代高性能分布式文件系统的项目，现 在也成为了开源社区众人皆知的明星项目。特别是随着云计算的发展，Ceph乘上了Ope

型网站面临的高负载和高并发问题。要达到良好的系统容错性、扩展性、伸缩性，系统架构更为重要。网站的分布式系统架构是一种合适的选择，并行应用在多个处理机上运行，可以明显感到性能的提升，应用的拆分使系统具有

/2825111 【编者按】 持久化是Mesos下一个版本的一项重点工作，也是提高Mesos分布式环境资源利用率必须解决的问题。本文系作者根据自己在Mesos Meetup第二期的演讲内容整理，讲解Mesos

摘要 Cassandra是一个分布式存储系统，可以方面管理分布在很多商业服务器节点上的非常大量的结构化数据，同时提供无单点失效的高可用服务。 Cassandra目标是在几百个基础节点上运行（可能分

MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.对于业 界的大数据存储及分布式处理系统来说Hadoop2提出的新MapReudce就是YARN: A

3 MapReduce 2. 概要介绍1. Hadoop就是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储 。 2. Hadoop是项

System中文版 译者：alex 摘要 我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。

System中文版 译者：alex 摘要 我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。

架构关注内容1.数据存储区域2.数据访问区域3.缓存区域4.应用服务服务区域5.Web服务器区域6.分布式文件区域7.MQ消息队列区域8. 负载均衡区域9. 其它技术 14. 数据存储的挑战SaaS数据存

Hypertable主要解决的是数据的组织和存储策略问题，数据的物理存储由分布式并行文件系统完成。分布式并行文件系统作为云计算平台的基础组件，为Hypertable提供统一的文件系统命名空间（namespace）。 在Hyper

的扩展模块用于访问淘宝的 TFS 文件系统。这个模块实现了TFS的客户端，为TFS提供了RESTful API。TFS的全称是Taobao File System，是淘宝开源的一个分布式文件系统。 编译和安装：

1. Hadoop综述 2. 主要内容2 第一篇HDFS 分布式文件系统 第二篇 MapReduce 第三篇 Hbase简单介绍 3. 第一篇HDFS3 一： The Design of HDFS 二：

CLOUDXY立足于实现虚拟子网（以太网）的弹性云计算平台 该项目主要包含有两个子项目： HLFS - 虚拟机分布式镜像存储 (类似于亚马逊EBS，首先发布出来） ECMS - 虚拟环境管理系统 背景介绍 HLFS

Nutch是一个基于Lucene，类似Google的完整网络搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证了系统的可客户化，而且很容易集成到自己的应用之中。Nutch

System，一个适用于大规模分布式数据处理相关应用的，可扩展的分布式文件系统。它基于普通的不算昂贵的硬件设备，实现了容错的设计，并且为大量客户端提供极高的聚合处理性能。 我们的设计目标和上一个版本的分布式文件系统有很多相

其他脱机 过程 。 Hadoop 并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 项目主页： http://www.open-open

Facebook Internal Metrics ）。 Titan 主要用于用户数据存储， Puma 用于 MapReduce 分布式计算， ODS 用于存储公司内部监控数据， Facebook 基于 HBase 的应用方式与国内几大互联网公司类似。

HBase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Googl文件系统（File

HBase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Googl文件系统（File