Twill是 Apache Hadoop YARN 的一个抽象层。它能够减少开发分布应用程序的复杂性，让开发人员可以更加关注他们的业务逻辑。它通过一个类似于Java线程的简单而直观的编程模型来暴...

hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。 它把海量数据存储于 hadoop 文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理...

* 大数据计算问题的提出：如何处理并行计算、如何分发数据、如何处理错误等等。这些问题合起来使得大数据处理变得复杂 * 为了解决这些问题，需要设计新的计算抽象模型：只要表述想要执行的运算，而屏蔽...

GFS（Google文件系统）作为一个分布式文件系统，为Google提供基础的海量数据存储服务。虽然GFS并没有开源，但Google在其 04年发表的论文《The Google File Sys...

Bigtable为Google设计的一个分布式结构化数据存储系统，用来处理Google的海量数据。Google内包括Web索引、Google地球等项目都在使用Bigtable存储数据。尽管这些应...

Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（1...

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Goo...

以前只用过Hive与impala两个类SQL查询系统，最近又将Hortonworks开源的Stinger与Apache的Drill做了些调研。累死累活搞了一天的资料，头都大了。为了纪念我那逝去的...

GridFS是MongoDB之上的分布式文件系统，其利用了MongoDB的分布式存储机制并通过MongoDB来存储文件数据和文件元数据，兼具文档型数据库和文件系统的优势。GridFS是当前大数据...

mapreduce是一种模式，一种什么模式呢?一种云计算的核心计算模式，一种分布式运算技术，也是简化的分布式编程模式，它主要用于解决问题的程序开发模型，也是开发人员拆解问题的方法。

Swift 最初是由 Rackspace 公司开发的高可用分布式对象存储服务，并于 2010 年贡献给 OpenStack 开源社区作为其最初的核心子项目之一，为其 Nova 子项目提供虚机镜像...

历经一年多的发展，Cloud Foundry的架构设计和实现有了众多改进和优化。为了便于大家了解和深入研究首个开源PaaS平台——Cloud Foundry，《程序员》杂志携手Cloud Fou...

Hadoop完全分布式模式的安装和配置

Storm是一个分布式的、容错的实时计算系统，它被托管在GitHub上，遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统，BackTy...

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop Map...

主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增...

TFS是taobao filesystem的简称，是一个分布式的文件系统，目前最新的版本是TFS2.X TFS和NAS相比，具有线性扩容好，高并发性能好。和HDFS相比更适合小文件，和F...

伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索 场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的...

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Goo...

一个区域在CloudStack配置中是最大的组织单元。一个区域通常代表一个单独的数据中心，虽然在一个数据中心也允许有多个区域。将基础架构设施加入到区域中的好处是提供物理隔离和冗余。例如，每...