LeoFS是一个高可靠性，最终一致性的分布式对象存储系统

相信很多公司和乐视一样，本就不充足的研发队伍，由于种种历史和政治原因，在同一个领域里充斥了大量类似的开源项目，在我们的分布式存储系统里，目前就采用了HDFS，Gluster，Swift和Ceph...

Hadoop yarn完全分布式安装笔记

Mesa是Google用于广告的数据仓库系统， 拥有准实时的数据更新能力， 和低延迟的数据查询性能。 系统高可用性、可靠性、扩展性都非常优秀， 数据规模可达PB级别， 支持每秒数百万行写入。 每...

由Facebook开源，最初用于解决海量结构化的日志数据统计问题：ETL工具； 构建于Hadoop的HDFS和MapReduce智商，用于管理和查询结构化/非结构化数据的数据仓库；

HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Go...

Barbican 是为安全储存、配置和隐私管理而设计的REST API，它主要目的是使用于所有环境，包括大规模临时云。

MapReduce简单使用

配置Ubuntu下使用Python开发Spark应用

开源大数据利器汇总

Exhibitor 是 ZooKeeper 实例监控，备份，恢复，清理和可视化工具， 是 ZooKeeper 的监控管理系统。

Storm是一个实时的可靠地分布式流计算框架。 具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks...

接下来有可能会用到Hadoop相关的知识, 所以这几天就在Vmware里面尝试着搭建了一下. 感觉还行. 所以趁着还记得, 就写下这篇博客, 帮助自己以后回顾, 也帮助那些准备接触Hadoop的...

IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太 远，我们看到了不同技术之间的边际的模糊化。假如你有诸如...

Glance项目提供了服务让用户可以上传和发现用于其他服务的数据资源。这目前包括镜像和元数据定义（Metadata Definition）。 Glance镜像服务包括了发现、注册和获得虚...

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可 以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子...

基本hadoop文件操作

我们主要来学习MapTask的内部实现。

ubuntu14.04 安装hadoop

本文中，我们将首先讨论如何在本地机器上利用Spark进行简单分析。然后，将在入门级水平探索Spark，了解Spark是什么以及它如何工作（希望可以激发更多探索）。最后两节将开始通过命令行与Spa...