报告内容：Hadoop核心、Hadoopdfs（Hdfs）、MapReduce分布式并行计算模型Hadoop扩展Hadoopbase（Hbase）基于hadoop核心的高扩展性分布式数据库Pig-一种高级数据流语言和并行计算的执行框架，也基于hadoop核心Hive-建立在hadoop之上的数据仓库基础设施，提供数据摘要，adhocquerying，数据集分析。HadoopDFS（HDFS）HDFS:技术背景数据海量化趋势催生了DFS应用单机无法存放，大数据集被分割存储文件系统对跨机器的数据集进行统一管理实现的复杂度远大于本地存储系统，例如：错误处理HDFS是一种实现超大文件的存储，流式数据访问，运行于普通商业集群。

用Hadoop搭建分布式存储和分布式运算集群用Hadoop搭建分布式存储和分布式运算集群1.列出使用的机器普通PC，要求：cpu:750M-1Gmem:>128Mdisk:>10G不需要太昂贵的机器。

Hadoop的搭建

Google是伸缩性的王者。Google一直的目标就是构建高性能高伸缩性的基础组织来支持它们的产品。

云计算与开源中国电信云计算云计算开源应用目录5什么云计算KevinHartig：云是一个庞大的资源池，你按需购买；云是虚拟化的；云可以象自来水，电，煤气那样计费。JanPritzker：云计算是用户友好的网格计算。*农村城市化发展云计算-网格计算的发展*网格计算云计算MPIMAP-Ruduce，Dryad异构资源同构资源不同机构单一机构虚拟组织虚拟机科学计算为主数据处理为主高性能服务器服务器、PC标准化无标准科学界商业应用云计算的使用方式将计算和存储等资源以服务的方式提供，用户按需使用，按用量付费*云计算关键特征云计算-关键特征按需扩展和使用快速获得服务通过互联网提供自助式服务按使用量付费

2009年7月 ，Hadoop Core项目更名为Hadoop Common;<br> 2009年7月 ，MapReduce 和 Hadoop Distributed File System (HDFS) 成为Hadoop项目的独立子项目。<br> 2009年7月 ，Avro 和 Chukwa 成为Hadoop新的子项目。<br> 2010年5月 ，Avro脱离Hadoop项目，成为Apache顶级项目。<br> 2010年5月 ，HBase脱离Hadoop项目，成为Apache顶级项目。<br> 2010年5月，IBM提供了基于Hadoop 的大数据分析软件——InfoSphere BigInsights，包括基础版和企业版。<br> 2010年9月，Hive( Facebook) 脱离Hadoop，成为Apache顶级项目。<br> 2010年9月，Pig脱离Hadoop，成为Apache顶级项目。

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce，Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReducejob性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。

首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。 Hadoop在windows下还未经过很好的测试，所以推荐大家在linux（cent os 6.X）下安装使用。 准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh和Jdk1.6（因为Hadoop需要使用到Jdk中的编译工具，所以一般不直接使用Jre）。可以使用yum install rsync来安装rsync。一般来说ssh是默认安装到系统中的。

1.Google数据中心从整体来看，Google的云计算包括了如下的技术层次。1）网络系统：包括外部网络(Exterior Network)，这个外部网络并不是指运营商自己的骨干网，也是指在Google云计算服务器中心以外，由Google自己搭建的由于不同地区/国家，不同应用之间的负载平衡的数据交换网络。内部网络（InteriorNetwork），连接各个Google自建的数据中心之间的网络系统。2）硬件系统：从层次上来看，包括单个服务器、整合了多服务器机架和存放、连接各个服务器机架的数据中心（IDC）。3）软件系统：包括每个服务器上面的安装的单机的操作系统经过修改过的RedhatLinux。Google云计算底层软件系统（文件系统GFS、并行计算处理算法Mapreduce、并行数据库Bigtable，并行锁服务ChubbyLock，云计算消息队列GWQ）

欢迎来到Yahoo! Hadoop教程！这个系列教程将向你介绍Apache Hadoop系统的许多方向，还将向你展示：如何进行简单和高级的集群配置；如何使用分布式文件系统；如何使用分布式文件系统，如何开发复杂的Hadoop MapReduce应用，并且其它相关的分布式系统也提及。Hadoop是一个大规模分布式批处理架构，虽然它在单台计算机上也能使用，但它的真正能力是在成百上千计算机上运行时才显现出来，Hadoop可以高效地将大量工作高效地分布到一组计算机上。

云存储结构模型目标在现有的硬件基础上，选择合适的云存储平台；完成云存储平台的搭建，实现文件存储功能；在建立的云存储平台上开发若干个应用案例。HDFS Hadoop Distributed FileSystem，简称HDFS，是一个分布式文件系统。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。Apache Hadoop是一个软件框架（平台），它可以分布式地操纵大量数据。它于2006年出现，由Google、Yahoo!和IBM等公司支持。可以认为它是一种PaaS模型。它的设计核心是MapReduce实现和HDFS(Hadoop Distributed FileSystem)，它们源自MapReduce（由一份Google文件引入）和GoogleFileSystem。

Hadoop介绍：Hadoop是一个分布式计算基础架构下的相关子项目的集合；Hadoop是由Apache软件基金会支持；Hadoop中的MapReduce，HDFS，HBASE是基于Google发布的MapReduce，GFS，Bigtable设计实现；2004年，最初版本的由DougCutting和MikeCafarella开始实施；2006年，Yahoo网络计算团队采用Hadoop。HDFS块的概念64MB（寻址时间和传输时间）；块副本，一般有2个；名称节点与数据节点（Namenode与Datanode）名称节点只有一个，记录数据文件和数据块的信息；

Hadoop包括hdfs与mapreduce两部分，在使用期期间我主要看了mapreduce部分，即hadoop执行作业的部分。mapreduce中几个主要的概念mapreduce整体上可以分为这么几条执行的线索，jobclient，JobTracker与TaskTracker。

在Microsoft Windows XP操作系统下,安装Ubuntu8.04 lts server版本+xubuntu桌面到VMware虚拟机上。

一个分布式文件系统和并行执行环境 让用户便捷地处理海量数据 Apache软件基金会下面的一个开源项目 目前Yahoo!是最主要的贡献者

采用NoSQL数据库和关系数据库相结合的方式云平台中“云存储”的问题。<br> 利用MapReduce编程模型解决云平台中“云计算”的问题。<br> 使用开源的稳定的云计算平台开发云计算项目。

HBase使用例子（中文翻译）通过编码（java）的形式对HBase进行一系列的管理涉及到对表的管理、数据的操作等。1、 对表的创建、删除、显示以及修改等，可以用HBaseAdmin，一旦创建了表，那么可以通过HTable的实例来访问表，每次可以往表里增加数据。2、 插入数据创建一个Put对象，在这个Put对象里可以指定要给哪个列增加数据，以及当前的时间戳等值，然后通过调用HTable.put(Put)来提交操作，子猴在这里提请注意的是：在创建Put对象的时候，你必须指定一个行(Row)值，在构造Put对象的时候作为参数传入。

HBASE从设计理念上就为可扩展做好了充分准备 空间的扩展只需要加入存储结点 使用‘表’的概念，但不同于关系数据库，不支持SQL 实质上是一张极大的、非常稀疏的，存储在分布式文件系统上的表

仿照Bigtable的论文制造实时随机读写补充HDFS的不足<br> HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。<br> 此外，Pig和Hive还为HBase提供了高层上图描述了Hadoop EcoSystem中的各层系统，其中HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持，Hadoop MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制。

HFile(HBase File)是HBase使用的一种文件存储格式的抽象，目前存在两种版本的HFile:HFileV1和HFileV2HBase0.92之前的版本仅支持HFileV1,HBase0.92/0.94同时支持HFileV1和HFileV2。