Hadoop介绍：Hadoop是一个分布式计算基础架构下的相关子项目的集合；Hadoop是由Apache软件基金会支持；Hadoop中的MapReduce，HDFS，HBASE是基于Google发布的MapReduce，GFS，Bigtable设计实现；2004年，最初版本的由DougCutting和MikeCafarella开始实施；2006年，Yahoo网络计算团队采用Hadoop。HDFS块的概念64MB（寻址时间和传输时间）；块副本，一般有2个；名称节点与数据节点（Namenode与Datanode）名称节点只有一个，记录数据文件和数据块的信息；

我们要做的是完成在Windows下远程调用Hadoop服务器集群，不过还是觉得Linux下更好用一些。 首先从hadoop-0.20.0的开发包中拷贝hadoop-0.20.0-eclipse-plugin.jar到Eclipse的plugins目录下面，重启Eclipse，就会发现视图里面多了一个Map/Reduce选项

安装hadoop是一件非常容易的事情,读者可以在官网上下载到最近的几个hadoop版本。

Hadoop集群安装。首先我们统一一下定义，在这里所提到的Hadoop是指HadoopCommon，主要提供HDFS（分布式文件存储）与Map/Reduce的核心功能。　

Hadoop是MapReduce的开源实现，现在介绍它的单机模式安装方法。实验平台：Ubuntu9.04，Hadoop0.20，JDK1.6。

使用SSH协议将namenode的公钥信息authorized_keys复制到所有DataNode的.ssh目录下(.ssh下最初没有authorized_keys，如果有，则需要复制追加，后面会讲到如何追加)。 root@hadoopName# scp authorized_keys 172.16.18.212:/root/.ssh/ 这样配置过后，namenode可以无密码登录所有datanode，可以通过命令 “ssh 172.16.19.42”来验证。有些手册上介绍的配置方法与此不一致，但是这种方法是成功的。很多手册到此步SSH配置就完成了，但是我实验时发现不能正常启动hadoop，所以我还继续做了配置。

提纲基础知识Hadoop调度流程Hadoop自带调度器介绍编写自己的Hadoop调度器总结基础知识基础知识heartbeatTaskTracker周期性（默认为3s）调用RPC向JobTracker汇报信息，形成heartbeat汇报信息包括TaskTracker状态信息、Task运状况等Slot资源划分单位分为mapslot和reduceslot两种由参数。

2009年7月 ，Hadoop Core项目更名为Hadoop Common;<br> 2009年7月 ，MapReduce 和 Hadoop Distributed File System (HDFS) 成为Hadoop项目的独立子项目。<br> 2009年7月 ，Avro 和 Chukwa 成为Hadoop新的子项目。<br> 2010年5月 ，Avro脱离Hadoop项目，成为Apache顶级项目。<br> 2010年5月 ，HBase脱离Hadoop项目，成为Apache顶级项目。<br> 2010年5月，IBM提供了基于Hadoop 的大数据分析软件——InfoSphere BigInsights，包括基础版和企业版。<br> 2010年9月，Hive( Facebook) 脱离Hadoop，成为Apache顶级项目。<br> 2010年9月，Pig脱离Hadoop，成为Apache顶级项目。

HBASE从入门到精通HBase技术介绍HBase简介HBase– Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是GoogleBigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用Chubby作为协同服务，HBase利用Zookeeper作为对应。

大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。

第一个是boolean型变量quietmode，用于设置加载配置的模式。通过阅读源代码就可以清楚，这个quietmode如果为true，实际上默认就为true，加载配置的模式为快速模式，其实也就是在解析配置文件的过程中，不输出日志信息，就这么简单。

在所有节点编辑好host文件三个节点，先定义好主机名！！！！！这步很重要分别是hadoop1,hadoop2,hadoop32在所有节点上创建密钥

安装jdk安装eclipse时已经提过，这里略，使用jdk1.6.0_12版本。安装Cygwin以及相关服务安装Cygwincygwin是一个在windows平台上运行的unix模拟环境。在安装Cygwin之前，得先下载Cygwin安装程序setup.exe

概述HadoopMap-Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个Map-Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。

HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。

环境：Win7系统装虚拟机虚拟机VMware-workstation-full-9.0.0-812388.exeLinux系统Ubuntu12.0.4JDKjdk-7u17-linux-i586.tar.gz搭建步骤：首先在win系统装虚拟机，执行VMware-workstation-full-9.0.0-812388.exe；其次需要在虚拟机上装Ubuntu12.0.4；安装完成Ubuntu12.0.4之后，需要安装JDK，(注意：安装JDK需要处理一些其他问题，JDK必须是Linux版本的，还有就是JDK要和操作系统的位数相符合，比如32位、64位都有对应的安装包)：JDk的安装路径

摘要在大数据到来的今天，本文首先介绍了Hadoop及其核心技术MapReduce的工作原理。详细讨论了Hadoop推测执行算法和SALS推测执行算法并对它们的性能进行分析。最后，分析了MapReduce框架的通用二路连接算法RSJ。为了提高性能，提出了一种基于DistributedCache的改进算法，通过减少mapper输出的数据来达到优化的目的。

Hadoop集群搭建文档

一、背景为了方便Mapreduce直接访问关系型数据库（Mysql，Oracle），Hadoop提供了DBInputFormat和DBOutputFOrmat两个类。通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把Mapreduce产生的结果集导入到数据库表。

大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。