Hadop是一种分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。

Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，并且支持快速搭建任意节点数的Hadoop集群。

hadoop分布式集群搭建

从8月份到现在12月份，中间有四个月的时间没有学习hadoop系统了。其实适应新的环境，到现在一切尘埃落定，就应该静下心来，好好学习一下hadoop以及我之前很想学习的mahout。个人对算法比较感兴趣，不希望自己能够研究出点啥，只求我自己能够明白和运用牛人们已经研究出来的东西。所以，今天在搭建了三台centos机器，准备搭建hadoop平台。

Hadoop集群搭建(-v1.2.1)

本环境使用的单个宿主主机，而不是跨主机集群，本spark集群环境存在的意义可能在于便于本地开发测试使用，非常轻量级和便捷。这个部署过程，最好在之前有过一定的hadoop，spark集群部署经验的基础，本文重点在于docker相关的操作，至于hadoop和spark集群的部署，极力推荐这两个网页：

Cloudera Manager在集群已经实现ssh免秘钥登录，能够访问网络资源和本地资源的情况下，可以自动安装和配置CDH(Cloudera distributed hadoop),以及管理在这个集群上面的服务。

10分钟搭建Hadoop集群

基于Hadoop2.5.0的集群搭建

hadoop版本：hadoop-0.20.205.0-1.i386.rpm 下载地址：http://www.fayea.com/apache-mirror/hadoop/common/hadoop-0.20.205.0/ jdk版本：jdk-6u35-linux-i586-rpm.bin 下载地址：http://www.oracle.com/technetwork/java/javase/down

zookeeper集群安装与配置

在CentOS上安装ZooKeeper集群：（可选）创建新用户 一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在...

Hadoop集群搭建机器规格CPU：2个四核2~2.5GHzCPU内存：8~16GBECCRAM(非ECC会产生校验和错误)存储器：4*1TSATA硬盘（硬盘大小一般是数据量的3—5倍）网络：千兆以太网PS：namenode一般采用64位硬件，避免32位机java堆3g限制具体规格情况跟数据量有关。

1.x版本，比较经典，使用者很多。2.x版本，和1.x并不兼容。2.x完全推翻了1.x的代码，重新编写的。内部思想有借鉴。

准备好源资源服务器，我使用之前的一台node4，配置都是1GB内存20GB存储 集群最好的安装方式一定是通过本地源的，如果是公共源，那么网络将会严重影响我们的安装进度。所以制作本地源是每一个大数据工作者的必会技能。

熟悉ZooKeeper的朋友都清楚，这是一个好东西。只是搭建ZooKeeper集群却不是一件容易的事。使用数人云部署ZooKeeper集群？那就是分分钟的事。

HA-JDBC是一个JDBC代理，为底层的JDBC驱动程序提供轻量级，透明，故障容错，集群的能力。

Heartbeat 专案是 Linux-HA 工程的一个组成部分，也是目前开源HA项目中最成功的一个例子，Linux-HA的全称是High-Availability Linux，这个开源专案的目标是：通过社区开发者的共同努力，提供一个增强linux可靠性（reliability）、可用性（availability）和可服务性（serviceability）（RAS）的群集解决方案，它实现了一个高可用集群系统。心跳服务和集群通信是高可用集群的两个关键元件，在 Heartbeat 专案裡，由 heartbeat 模组实现了这两个功能。

zookeeper 集群安装和配置

Norbert是一个基于Zookeeper构建的集群管理器和支持集群的C/S网络API。 norbert封装了zookeeper和netty，使用了协议栈缓存，基于Scala实现。