网易分布式数据库平台（DDB）是一种面向结构化数据的通用存储解决方案，基于关系数据库集群解决结构化数据的海量存储和高效访问。

Tair是由淘宝网自主开发的Key/Value结构数据存储系统，在淘宝网有着大规模的应用。您在登录淘宝、查看商品详情页面或者在淘江湖和好友“捣浆糊”的时候，都在直接或间接地和Tair交互。 Tair于2010年6月30号在淘宝开源平台上正式对外开源，本文较详细地介绍了Tair提供的功能及其实现的细节，希望对大家进一步了解Tair有所帮助。 Tair是一个Key/Value结构数据的解决方案，它默认支持基于内存和文件的两种存储方式，分别和我们通常所说的缓存和持久化存储对应。 Tair除了普通Key/Value系统提供的功能，比如get、put、delete以及批量接口外，还有一些附加的实用功能，使得其有更广的适用场景。

称节点是Hadoop后台进程中最重要的部分。Hadoop以一种主/从结构来实现分布式文件系统和分布式计算。分布式文件系统被称为HadoopFileSystem或者HDFS。名称节点是HDFS中的控制部分，用来控制从属的数据节点进程执行底层的输入/输出任务。名称节点也是HDFS的记录，其记录了文件是如何被分解为各个节点块的情况以及分布式文件系统的总体情况。

报告内容：Hadoop核心：1、Hadoopdfs（Hdfs），MapReduce分布式并行计算模型。2、Hadoop扩展，Hadoopbase（Hbase）基于hadoop核心的高扩展性分布式数据库。Pig-一种高级数据流语言和并行计算的执行框架，也基于hadoop核心，Hive-建立在hadoop之上的数据仓库基础设施，提供数据摘要，adhocquerying，数据集分析。

欢迎来到Yahoo!Hadoop教程！这个系列教程将向你介绍ApacheHadoop系统的许多方向，还将向你展示：如何进行简单和高级的集群配置；如何使用分布式文件系统；如何使用分布式文件系统，如何开发复杂的HadoopMapReduce应用，并且其它相关的分布式系统也提及。

由于相对hdfs的客户端存在相对路径问题，参见《HadoopHDFS开发参考》，我们修改了hadoop-0.18.1的源码并进行了重新编译，代码为forlink-hadoop.tar.gz。HDFS中，节点分为Namenode和Datanode，其中Namenode只有一个（可以通过《HadoopHDFS系统双机热备方案》配置两台，但同时只能有一台提供服务），Datanode可以有多台。

目标目的很简单，为进行研究与学习，部署一个hadoop运行环境，并搭建一个hadoop开发与测试环境。

Hive 的官方文档中对查询语言有了很详细的描述，请参考：http://wiki.apache.org/hadoop/Hive /LanguageManual ，本文的内容大部分翻译自该页面，期间加入了一些在使用过程中需要注意到的事项。

和Hadoop无缝集成 Hadoop分析后的结果可直接写入HBase； 存放在HBase的数据可直接通过Hadoop来进行分析。

目前，基于类似思想的Open Source项目还很多，如Facebook用于用户分析的Hive。 HDFS作为一个分布式文件系统，是所有这些项目的基础。分析好HDFS，有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目，我们就把他们放在一块，进行分析。

Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中间的key/value对，再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的任务都可用这个模型来表达。

Scribe是facebook开源的日志收集系统，可用于搜索引擎中进行大规模日志分析处理。其通常与Hadoop结合使用，scribe用于向HDFS中push日志，而Hadoop通过MapReduce作业进行定期处理。

这里假设你对CORBA毫无所知。对JAVA略有所知，因为这里使用JAVA作为程序设计语言。学习了本书，你将对CORBA有个初步了解，并能编写一个简单完整的CORBA应用程序。CORBA（Common Object Request Broker Architecture）是为了实现分布式计算而引入的。为了说明CORBA在分布计算上有何特点，我们从它与其它几种分布计算技术的比较中进行说明

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

Hive到底是什么呢?其实HIVE就是一个SQL解析引擎，它将SQL语句转译成M/RJOB然后在Hadoop执行，来达到快速开发的目的。拨开HIVE的神秘面纱之后来看它的表其实就是一个Hadoop的目录/文件（HIVE默认表存放路径一般都是在你工作目录的hive目录里面），按表名做文件夹分开，如果你有分区表的话，分区值是子文件夹，可以直接在其它的M/Rjob里直接应用这部分数据。

Hadoop是一个分布式的文件系统，他就像一个管家，管理你数据的存放，在物理上较远的地方会分别存放（这样一是不同的地方读取数据都很快，也起到了异地容灾的作用），他会动态管理和调动你的数据节点，高强的容错处理，最大程度的降低数据丢失的风险。Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序， 然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。 整个框架负责任务的调度和监控，以及重新执行已经失败的任务。

Thrift是Facebook开发出的一个软件库和一组代码生成工具，以加快高效率、可扩展的后端服务的开发与实现的速度。它通过对各语言最常用的部分加以抽象，把它们放进一个通用库里，再用各个语言实现，来实现跨编程语言的高效而可靠的通信。亦即，Thrift允许开发者在一个单独的语言无关的文件里，定义数据类型和服务接口，然后生成用来构建RPC客户和服务器所需的全部代码。

HDFS文件创建流程：文件夹的创建是一个相对简单的过程，主要是通过FileSystem中的mkdirs（）方法，这个方法在DFSClient实例中调用同名方法mkdirs（），通过Hadoop本身的RPC机制调用Namenode的mkdirs（）方法，最终这个调用PUSH到FSNameSystem的mkdirsInternal方法，这个方法主要就是检验访问权限，最后通过FSDirectory的unprotectedMkdir（）方法，构建一个INodeDirectory实例添加到文件系统的目录树中。