hadoop的运行原理：hadoop主要由三方面组成: 1、HDFS 2、MapReduce 3、Hbase Hadoop框架中最核心的设计就是：MapReduce和H...

　　节点是通过心跳来告诉master 自己还存活的。而在这之前，我做了一个测试，加了一个新节点到集群中，后来又把节点给删了，hosts（这个hosts应该是指被删除节点的host吧） 的文件也被改了，会不会是这个节点还在往master 发送心跳？SSH 到那个新节点上，jps 看一下任务，task tracker 果然还活着！把这个进程kill 掉，问题就OK 了。

Hadoop 一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储 。<br> Hadoop是项目的总称，主要是由分布式存储（HDFS）、分布式计算（MapReduce）组成 。<br> Hadoop程序目前只能运行在Linux系统上，window上运行需要安装其他插件，安装过程见《hadoop安装说明.docx》 。

Hadoop 源起: Apache Lucene 开源的高性能全文检索工具包 Apache Nutch 开源的 Web 搜索引擎 Google 三大论文 MapReduce / GFS / BigTable Apache Hadoop 大规模数据处理 Hadoop 核心: Hadoop Common 分布式文件系统HDFS MapReduce框架

Hadoop项目简介； HDFS体系结构； HDFS关键运行机制； Hadoop VS.Google（分布式文件系统）； Hadoop API； Hadoop环境搭建。

Hadoop项目简介； HDFS体系结构； HDFS关键运行机制； Hadoop VS.Google（分布式文件系统）； Hadoop API； Hadoop环境搭建。

支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 Win32平台是作为 开发平台 支持的。由于分布式操作尚未在Win32平台上充分测试，所以还不作为一个 生产平台 被支持。 所需软件 Linux 和 Windows 所需软件包括 : Java TM 1.5.x，必须安装，建议选择Sun公司发行的Java版本。

著名音乐站点Last.fm发布了基于Python的Dumbo（小 飞象）项目，Dumbo能够帮助Python开发者更方便的编写Hadoop应用，并且Dumbo为MapReduce应用提供了灵活易用的Python API。

hfds 是一种文件系统，用于存储hadoop将要处理的数据。适用于大规模分布式数据处理，是一个可扩展行的文件分布式系统；

报告内容：Hadoop核心：1、Hadoopdfs（Hdfs），MapReduce分布式并行计算模型。2、Hadoop扩展，Hadoopbase（Hbase）基于hadoop核心的高扩展性分布式数据库。Pig-一种高级数据流语言和并行计算的执行框架，也基于hadoop核心，Hive-建立在hadoop之上的数据仓库基础设施，提供数据摘要，adhocquerying，数据集分析。

HDFS为了做到可靠性（reliability）创建了多份数据块（datablocks）的复制（replicas），并将它们放置在服务器群的计算节点中（computenodes），MapReduce就可以在它们所在的节点上处理这些数据了。

HDFS为了做到可靠性（reliability）创建了多份数据块（data blocks）的复制（replicas），并将它们放置在服务器群的计算节点中（compute nodes），MapReduce就可以在它们所在的节点上处理这些数据了。

主要内容Hadoop项目简介HDFS体系结构HDFS关键运行机制Hadoop VS.Google（分布式文件系统）Hadoop API Hadoop环境搭建Hadoop项目简介Apache的解决方案Google云计算MapReduce Big Table

报告内容：Hadoop核心、Hadoopdfs（Hdfs）、MapReduce分布式并行计算模型Hadoop扩展Hadoopbase（Hbase）基于hadoop核心的高扩展性分布式数据库Pig-一种高级数据流语言和并行计算的执行框架，也基于hadoop核心Hive-建立在hadoop之上的数据仓库基础设施，提供数据摘要，adhocquerying，数据集分析。HadoopDFS（HDFS）HDFS:技术背景数据海量化趋势催生了DFS应用单机无法存放，大数据集被分割存储文件系统对跨机器的数据集进行统一管理实现的复杂度远大于本地存储系统，例如：错误处理HDFS是一种实现超大文件的存储，流式数据访问，运行于普通商业集群。

Happy 为Jython开发者使用Hadoop框架提供了便利，Happy框架封装了Hadoop的复杂调用过程，让Map-Reduce开发变得更为容易。

Spark可以直接对HDFS进行数据的读写，同样支持Spark on YARN。Spark可以与MapReduce运行于同集群中，共享存储资源与计算，数据仓库Shark实现上借用Hive，几乎与Hive完全兼容。

这里将自己在初识hadoop过程中遇到的一些错误做一个简单总结：

VirtualBox号称是免费虚拟机软件中最强的，拥有丰富的特色和出色的性能，在虚拟机市场占用重要地位。我们选择它的理由是：*安装程序体积小。相对于同类产品VMWare的四五百兆的体积，VirtualBox只有几十兆的安装程序，安装完成后也只有120多兆，太小巧了。*功能简单实用。配置简单、克隆系统、共享文件、虚拟化等一样不缺*免费。这是最大的诱惑。

Hadoop是一个分布式的文件系统，他就像一个管家，管理你数据的存放，在物理上较远的地方会分别存放（这样一是不同的地方读取数据都很快，也起到了异地容灾的作用），他会动态管理和调动你的数据节点，高强的容错处理，最大程度的降低数据丢失的风险。Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序， 然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。 整个框架负责任务的调度和监控，以及重新执行已经失败的任务。

MapReduce编程模型的思想来源于函数式编程语言Lisp，由Google公司于2004年提出并首先应用于大型集群。同时，Google也发表了GFS、BigTable等底层系统以应用MapReduce模型。在2007年，Google’s MapReduce Programming Model-Revisted论文发表，进一步详细介绍了Google MapReduce模型以及Sazwall并行处理海量数据分析语言。Google公司以MapReduce作为基石，逐步发展成为全球互联网企业的领头羊。Hadoop作为Apache基金会资助的开源项目，由Doug Cutting带领的团队进行开发，基于Lucene和Nutch等开源项目，实现了Google的GFS和Hadoop能够稳定运行在20个节点的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop项目正式支持HDFS和MapReduce的独立开发。同时，新兴公司Cloudera为Hadoop提供了商业支持，帮助企业实现标准化安装，并志愿贡献社区。Hadoop的最新版本是0.21.0，说明其还在不断完善发展之中。