hadoop分布式集群搭建

最近做了一个项目，要求找出二度人脉的一些关系，就好似新浪微博的“你可能感兴趣的人” 中，间接关注推荐；简单描述：即你关注的人中有N个人同时都关注了 XXX 。

有很多方式可以使得NN更加的Available，例如：减少启动时间，配置热刷选，减少升级时间，NN的手动或自动的Failover。本文档通过Failover来解决NN的SPOF问题 有很多种...

要把N个超级大表导入HBase，N是按月来分的，表：亿+的行数，100+的字段。测试过sqoop，JDBC，性能都不满意，对任务失败重做也很麻烦，HBase的批量导出还靠谱点

百度的高性能计算系统(主要是后端数据训练和计算)目前有4000节点，超过10个的集 群，最大的集群规模在1000个节点以上。每个节点由8核CPU以及16G内存以及12TB硬盘组成，每天的数据生成量在3PB以上。

Drill是一个分布式系统用于大型数据集的互动分析，类似于 Google 的 Dremel。

全球虚拟化和云基础架构领导厂商VMware公司公布了最新开源项目 - Serengeti，支持企业能够在虚拟和云环境中快速部署、管理和扩展Apache Hadoop。用于在虚拟平台上快速开发一个...

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中...

在Spring框架下支持编写 Hadoop 应用。Spring Hadoop使MapReduce、Streaming、Hive、Pig和级联工作能够通过Spring容器执行。Hadoop分布式文...

Cascading是一个应用程序框架，能够帮助开发人员快速开发基于Apache Hadoop 的 健壮数据分析和数据管理应用程序。

Azkaban是个简单的批处理调度器，用来构建和运行Hadoop作业或其他脱机过程。

Apache HCatalog是基于Apache Hadoop之上的数据表和存储管理服务。

Cloudera 的定位在于 Bringing Big Data to the Enterprise with Hadoop

著名音乐站点Last.fm发布了基于Python的Dumbo（小 飞象）项目，Dumbo能够帮助Python开发者更方便的编写Hadoop应用，并且Dumbo为MapReduce应用提供了灵活易...

Happy 为Jython开发者使用Hadoop框架提供了便利，Happy框架封装了Hadoop的复杂调用过程，让Map-Reduce开发变得更为容易。

谈到分布式系统，就不得不提到Google的三驾马车:GFS[1],MapReduce[2]和BigTable[3]。 虽然Google没有开源这三个技术的实现源码，但是基于这三篇开源文档, Nu...

应用程序通常会通过提供map和reduce来实现 Mapper和Reducer接口，它们组成作业的核心。

Hadoop的MongoDB适配器。需要MongoDB Java Driver 2.7.3+支持。

经过一整天的折腾，参考了网上很多资料，我机器上的Hadoop似乎是配置成功了。下面分享一下详细的配置过程。也祝愿大家在配置的过程中少走弯路。

这里将自己在初识hadoop过程中遇到的一些错误做一个简单总结：