本文档主要是针对Hadoop最基本知识的了解，对于刚刚接触Hadoop学习过程中的总结。Hadoop是什么Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。

在编写 Flink，Spark，Hive 等相关作业时，要是能快速的将我们所编写的作业能可视化在我们面前，是件让人兴奋的时，如果能带上趋势功能就更好了。今天，给大家介绍这么一款工具。它就能满足上述要求，在使用了一段时间，这里给大家分享以下使用心得。

Hadoop RPC是Hadoop的一个重要部分，提供分布式环境下的对象调用功能，源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码，只是在配置项上面有所改动。

hadoop一个用 于在普通硬件构成 的大集群上运行应用程序的框架。Hadoop框架透明地为应用程序提供可靠性与数据移动保障。Hadoop实现了一个被称为 mapReduce的 计算模型，在这个计算模型中应用程序被分为很多的小块，每一块都能在集群中的任意节点上执行或重新执行。另外，它还提供了一个分布式文件系统（HDFS） 来在计算节 点上存储数据，为集群提供了非常高的聚合带宽。在本框架中无论是Map/Reduce还是分布式文件系统都被设计为能够自动地处理节点上的错误。

因为有了 Savanna ，两个最大的开源项目 Hadoop 和 OpenStack 可以在一起工作。这是红帽、Hortonworks 和 Mirantis 新开发的 OpenStack 组件。项目的主要目的就是 Hadoop 成为 OpenStack 的一级使用者。

Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中间的key/value对，再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的任务都可用这个模型来表达。 Hadoop的Map/Reduce框架也是基于这个原理实现的，下面简要介绍一下Map/Reduce框架主要组成及相互的关系。

Hadoop原来是Apache Lucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。

hadoop面试小结

Apache Hadoop 2.6.0包含了许多重要的特性。

其实我们要知道大数据的实质特性：针对增量中海量的结构化，非结构化，半结构数据，在这种情况下，如何快速反复计算挖掘出高效益的市场数据？？带着这 个问题渗透到业务中去分析，就知道hadoop需要应用到什么业务场景了！！！如果关系型数据库都能应付的工作还需要hadoop吗？比如 1.银行的信用卡业务，当你正在刷卡完一笔消费的那一瞬间，假如在你当天消费基础上再消费满某个额度，你就可以免费获得某种令你非常满

http://hadoop.apache.org/common/docs/r0.19.2/cn/index.html

Introduction Distributed Neural Network Algorithm What is Guagua? Guagua Advanced Features Shifu on Guagua Future Plans

Hadoop介绍：Hadoop是一个分布式计算基础架构下的相关子项目的集合；Hadoop是由Apache软件基金会支持；Hadoop中的MapReduce，HDFS，HBASE是基于Google发布的MapReduce，GFS，Bigtable设计实现；2004年，最初版本的由DougCutting和MikeCafarella开始实施；2006年，Yahoo网络计算团队采用Hadoop。HDFS块的概念64MB（寻址时间和传输时间）；块副本，一般有2个；名称节点与数据节点（Namenode与Datanode）名称节点只有一个，记录数据文件和数据块的信息；

Spring Hadoop为开发 Apache Hadoop 应用程序提供支持，充分利用不着Spring, Spring Batch 和 Spring Integration 等项目提供的功能。

YARN是新一代Hadoop资源管理器，通过YARN，用户可以运行和管理同一个物理集群机上的多种作业，例如MapReduce批处理和图形处理作业。这样不仅可以巩固一个组织管理的系统数目，而且可以对相同的数据进行不同类型的数据分析。某些情况下，整个数据流可以执行在同一个集群机上。

1.x版本，比较经典，使用者很多。2.x版本，和1.x并不兼容。2.x完全推翻了1.x的代码，重新编写的。内部思想有借鉴。

The Hadoop Development Tools (HDT) 是 针对 Hadoop 平台开发的一组 Eclipse IDE插件集合。

这个项目整合了 Spring 框架和 Apache Hadoop 平台。该项目提供了一种方便的机制，让我们可以通过 Spring 容器来配置、创建和执行各种各样的服务和工具，像 MapReduce、Hive、Pig 和 Cascading 作业等。此外，该项目还通过 JVM 脚本语言——像 Groovy、JRuby、Jython 和 Rhino——提供了对 HDFS 数据访问的支持，为 HBase 提供了声明式配置的支持，以及对 Hadop 工具（包括 FS Shell 和 DistCp）提供了声明和编程的支持。

在Spring框架下支持编写 Hadoop 应用。Spring Hadoop使MapReduce、Streaming、Hive、Pig和级联工作能够通过Spring容器执行。Hadoop分布式文件系统的数据访问是通过JVM的脚本语言，如Groovy和JRuby启用。此外，还计划支持Hadoop包括FsShell和DistCp等工具。