今天早上一同事微信说奇虎360开源了一套配置管理系统。 地址在这： https://github.com/Qihoo360/QConf 。 正好我们之前也做了一套配管系统，于是点进去看了看，基于...

【译者预读】面对海量小文件的存储和检索，Google发表了GFS，淘宝开源了TFS，而Facebook又是如何应对千亿级别的图片存储、每秒百万级别的图片查询？Facebook与同样提供了海量图片...

Apache Hadoop 2.6.0安装部署

Apache Storm是一个免费、开源的分布式实时计算系统，不久前刚刚升级为Apache顶级项目。近日，该项目创建者Nathan Marz撰文回顾了Storm的发展历史以及相关的经验教训。他认...

数据源： 除该种方法之外，还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构，而特别要说的是流数据，它的核心就是数据的连续性和快速分析性；

3月31日是 Spark 五周年纪念日，从第一个公开发布的版本开始，Spark走过了不平凡的5年：从刚开始的默默无闻，到13年的鹊起，14年的大爆发。Spark核心之上有分布式的机器学习，SQL...

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 与Hado...

今天谈谈分布式事务的时序问题。在说这个问题之前首先说说这为什么是个问题。

三台机器，centos6.5， master、slave1、slaver2分布式安装hadoop1.2

Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式，最初是为机器学习算法设计的。 Paracel支持数据和模型的并行，为用户提供简单易用的通信接口，比mapreduce式的系统要...

Yelp工程师团队 表示，面对团队和代码库规模不断增长的情况，他们通过实践向面向服务架构迁移，得以使开发过程同步具备扩展能力，并且保持了快速的软件交付。这一切取决于以下因素，包括对团队灌输分布式...

用了一段时间Storm后的笔记。发现可以记的东西不多，证明Storm挺简单的，你只要遵循一些简单的接口与原则，就能写出大规模实时消息处理的程序。

hadoop安装配置

Tera 是一个高性能、可伸缩的数据库系统，被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问，我们使用按行键、列名和时间戳全 局排序的三维数据模型组织数据，使用多级...

最近团队中有分析的场景，用到了JStorm来做数据的实时分析，于是花时间对于一些概念做了了解。

ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 Zookeeper是hadoop...

zookeeper是一个开源分布式的服务,它提供了分布式协作,分布式同步,配置管理等功能. 其实现的功能与google的chubby基本一致.zookeeper的官方网站已经写了一篇非常经典的概...

在hadoop2中新的NameNode不再是只有一个，可以有多个（目前只支持2个）。每一个都有相同的职能。 一个是active状态的，一个是standby状态的。当集群运行时，只有active...

本文作者通过ZooKeeper与Eureka作为 Service发现服务（注：WebServices 体系中的UDDI就是个发现服务）的优劣对比，分享了Knewton在云计算平台部署服务的经验。...

RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组 的区别是，RDD中的数据是分区存储的，这样不同分区的数...