Zookeeper的安装和配置十分简单, 既可以配置成单机模式, 也可以配置成集群模式. 下面将分别进行介绍.

Disque是一个内存储存的分布式任务队列实现， 它由 Redis 的作者 Salvatore Sanfilippo (@antirez)开发， 目前正处于预览版（alpha）阶段。 本文档将...

Storm实验 -- 单词计数

Ceph从2004年提交了第一行代码，至今为止已经10年了。这个起源于Sage博士论文，最早致力于开发下一代高性能分布式文件系统的项目，现 在也成为了开源社区众人皆知的明星项目。特别是随着云计算...

Geode是一个提供实时且高一致性的分布式数据管理平台，典型案例是中国铁路12306售票系统使用Geode管理10个集群节点，在内存中管理2T的热点数据和10个高可用弹性规模的后备节点。

拖了5天终于看完了两篇论文，对相关数据分析平台搭建技术也有了进一步的了解。对自己这几天的笔记做了一个整理，既是为了方便自己以后查看，也是为以后的实际平台搭建建立依据。其实感觉还是挺苦逼的，这大过...

微博，一个DAU上亿、每日发博量几千万的社交性产品，拥有庞大的数据集。如何高效得从如此规模的数据集中挖掘出有价值的信息，以增强用户粘性，提 高信息传播速度，就成了重中之重。因此，我们引入了had...

Storm与传统关系型数据库 传统关系型数据库是先存后计算，而storm则是先算后存，甚至不存 传统关系型数据库很难部署实时计算，只能部署定时任务统计分析窗口数据 ...

Druid 是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。尤其是当发生代码部署、机器故障 以及其他产品系统遇到宕机等情况时，D...

个人谈谈阅读hadoop源代码的经验。 首先，不得不说，hadoop发展到现在这个阶段，代码已经变得非常庞大臃肿，如果你直接阅读最新版本的源代码，难度比较大，需要足够的耐心和时间，所以，如果你...

一说到开源大数据处理平台，就不得不说此领域的开山鼻祖Hadoop，它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台，但真正能实现工业级应用、降低使用门槛、带...

提 到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我 把2012年后定义成后Hadoop平台时代，...

Spark中迭代式机器学习算法的数据流可以通过图2.3来进行理解。将它和图2.1中Hadoop MR的迭代式机器学习的数据流比较一下。你会发现在Hadoop

HDFS是Hadoop Distribute File System 的简称，也就是Hadoop分布式文件系统。

在生产中我们一般希望文件系统能帮我们解决以下问题，如：1.超大数据存储；2.数据高可用（冗余备份）；3.读/写高性能；4.海量数据计算。最好还得支持多平台多语言，支持高并发。 由于单台服...

Disconf 可以为各种业务平台提供统一的配置管理服务。

ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 Zookeeper是hadoop的一个...

什么是tuple? 命名的value序列, 可以理解成Key/value序列, 每个value可以是任何类型, 动态类型不需要事先声明. Tuple在传输中需要序...

0.上传日志文件到linux中，通过flume将文件收集到hdfs中。

环境：三台虚拟机，系统是CentOS6.5