本文将从逻辑结构的角度对Ceph进行分析。

分析开源项目，时常遇到的一个问题就是资料不足。有时间写代码的大牛们通常是都是没有时间或者根本不屑于写文档的。而不多的文档通常又是使用手册之类的东西。即便偶尔有设计文档通常也是语焉不详。在...

本文将对Ceph的基本情况进行概要介绍，以期读者能够在不涉及技术细节的情况下对Ceph建立一个初步印象。

Kubernetes是Google开源的容器集群管理系统。前几天写的 分布式服务框架的4项特性 中提到一个良好的分布式服务框架需要实现

最近业界有很多技术和产品都认为属于内存计算的范畴，由于我个人也从事于内存计算产品的研发，所以想借个机会，跟各位聊聊到底什么是内存计算技术，以及比较一些现在两种比较主流的内存计算技术Apache ...

MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.对于业 界的大数据存储及分布式处理系统来说Hadoop2提出的新MapReudce就是YA...

本文主要讲述使用 hive 的实践，业务不是关键，简要介绍业务场景，本次的任务是对搜索日志数据进行统计分析。 集团搜索刚上线不久，日志量并不大 。这些日志分布在 5 台前端机，按小时保存，并以...

Hive学习的思维导图

Pig是一种探索大规模数据集的脚本语言。 pig是在HDFS和MapReduce之上的数据流处理语言，它将数据流处理翻译成多个map和reduce函数，提供更高层次的抽象将程序员从具体的编

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop Map...

在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起，这样才能够达到目的。[1]在Hadoop生态圈中，有一种相对比较 新的组件叫做Oozie[2]，它让我...

做项目的时候遇到一个问题，在Mapper和Reducer方法中处理目标数据时，先要去检索和匹配一个已存在的标签库，再对所处理的字段打标签。因为标签库不是很大，没必要用HBase。我的实现方法是把...

本文先从通过一个最简单的 RMI 服务与调用示例，让读者快速掌握 RMI 的使用方法，然后指出 RMI 的局限性，最后笔者对此问题提供了一种简单的解决方案，即使用 ZooKeeper 轻松解决 ...

Curator提供了一套Java类库， 可以更容易的使用ZooKeeper。 ZooKeeper本身提供了Java Client的访问类，但是API太底层，不宜使用， 容易出错。 Curator...

1.比如我们输出的mapreduce结果，需要进入下一个mapreduce，该怎么解决？可以使用迭代式 2.那么什么是迭代式? 3.什么是依赖式？ 4.什么是链式？ 5.三种模式各自的应用场景是什么？

SmartDataCenter (SDC) 是一个开源的云管理平台，提供下一代基于容器、面向服务架构的多数据库中心管理。其重点是为了简化安装和管理。目前 Joyent 公有云和很多私有云都使用该...

1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。

一直对zookeeper的应用和原理比较迷糊，今天看一篇文章，讲得很通透，分享如下：

CloudFoundry是一个标杆性的项目，架构设计上有很多值得借鉴之处。从CloudFoundry官网摘了一张图，我们以此剖析各个组件的作用。

Dynomite 是 Netflix 的开源作品，灵感来自于 Dynamo whitepaper ，是一个轻量级、分布式的 Dynamo 层，用于不同的 K/V 存储和协议。