以下集群配置内容，以两台机器为例。其中一台是master，另一台是slave1。 master上运行name node, data node, task tracker, job tracker，secondary name node； slave1上运行data node, task tracker。

机器规格CPU：2个四核2~2.5GHzCPU内存：8~16GBECCRAM(非ECC会产生校验和错误)存储器：4*1TSATA硬盘（硬盘大小一般是数据量的3—5倍）网络：千兆以太网PS：namenode一般采用64位硬件，避免32位机java堆3g限制具体规格情况跟数据量有关。

Hadoop基本概念，Hadoop的应用范围，Hadoop底层实现原理，Hive与数据分析，Hadoop集群管理典型的Hadoop离线分析系统架构。

主要内容实验平台简介Hadoop环境搭建MapReduce编程实验平台简介采用XenServer分布式部署Hadoop浪潮380D5台虚拟机（CentOS）采用VirtualBox分布式部署Hadoop PC5 台虚拟机（CentOS）采用XenServer分布式部署Hadoop采用VirtualBox分布式部署Hadoop Hadoop环境搭建Hadoop的三种部署模式Hadoop完全分布式部署HDFS节点故障演示Hadoop的三种部署模式。

Hadoop的核心就是HDFS与MapReduce

Hue是一个能够与Apache Hadoop交互的Web应用程序。一个开源的Apache Hadoop UI。

在一些 Teiid 的一些文章和示例上都会有关于 JBoss Data Virtualization (Teiid) 通过 Hive 使用 Hadoop 作为数据源的信息。当使用 Hadoop 环境创建 Data Virtualization 示例时，比如 Hortonworks Data Platform, Cloudera Quickstart 等等，里面会包含大量的开源项目。本篇文章主要是对 Hadoop 生态系统有个初步的认识，以下的一些开源项目详情可以查看 hadoop ecosystem table。

本文以虚拟机安装hadoop集群为例!!!安装过程

import java.io.File; import java.io.FileOutputStream; import java.net.URI; import java.util.List; import org.apache.commons.io.IOUtils; import org.apache.hadoop.conf.Configuration; import org.apache.h

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。

O'Reilly Media, Inc继Velocity China之后，今年12月份将再度向亚洲市场重磅引进Strata + Hadoop World大会。此次大会由O'Reilly Media, Inc携手Cloudera联合举办，汇聚行业精英，分析师、决策者，着眼于重塑并展望经济与技术的未来。 Strata + Hadoop World将重点探讨大数据、had

hadoop配置文件：hadoop 1X系列的五大守护进程: 1.NameNode, 它是hadoop中的主服务器,管理文件系统名称空间和对集群中存储...

Hadoop 这个单词如今铺天盖地，几乎成了大数据的代名词。仅仅数年时间，Hadoop 从边缘技术迅速成长为一个事实标准。如今想玩转大数据，搞企业分析或者商业智能，没有 Hadoop 还真不行。

2011年，对 Hadoop 来说注定是载入史册的一年：Yahoo!与风险投资公司 Benchmark Capital 联合建立独立公司 Hortonworks，接手 Yahoo!开源软件平台 Apache Hadoop；Hadoop 海量数据分析平台 Datameer、Karmasphere 和 Hadapt 分别获得千万美元级别投资；一向对开源趋势不屑一顾的微软转投 Hadoop 怀抱；Hadoop 之父 Doug Cutting 第一次莅临中国

调用文件系统(FS)Shell命令应使用 bin/hadoop fs。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。

hadoop安装配置

hadoop是一个开源的软件框架，是一个利用商业硬件处理和存储大型数据的软件。从下到上主要有五个主要的组成部分：

Hadoop 由 Apache Software Foundation 公司于 2005 年秋天作为 Lucene 的子项目 Nutch 的一部分正式引入。它受到最先由 Google Lab 开发的 MapReduce 和 Google File System 的启发。2006 年 3 月份，MapReduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。<br> Hadoop并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的基础框架。它由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。

本教程使用Ubuntu12.0464位作为系统环境（Ubuntu14.04也行，32位、64位均可），请自行安装系统装好了Ubuntu系统之后，在安装Hadoop前还需要做一些必备工作。

一准备工作准备4台ubuntu操作系统的linux服务器，要求系统版本遗址Jdk1.6,hadoop0.20.2安装包,ssh为系统都统一创建一个名称相同的用户二搭建工作环境2.1安装jdk1.6(不做详细介绍)2.2实现ssh无密码验证1．终端输入ssh-keygen–trsa–P2.直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在“/home/hadoop/.ssh”目录下