Hadoop项目简介； HDFS体系结构； HDFS关键运行机制； Hadoop VS.Google（分布式文件系统）； Hadoop API； Hadoop环境搭建。

数据分析选型历程； Hadoop简介； 系统架构； 集群介绍； 近期对Hadoop的改造实践。

在使用hadoop的时候，可能遇到各种各样的问题，然而由于hadoop的运行机制比较复杂，因而出现了问题的时候比较难于发现问题。本文欲通过某种方式跟踪Hadoop的运行痕迹，方便出现问题的时候可以通过这些痕迹来解决问题。

一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的。

1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-。

Hadoop学习总结之二：HDFS读写过程解析

HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。

错误1：bin/hadoop dfs 不能正常启动，持续提示： INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s). 原因：由于 dfs 的部分文件默认保存在tmp文件夹，在系统重启时被删除。 解决：修改core-site.xml 的 hadoop.tmp.dir配置文件路径：/home/hadoop/tmp。

随着分布式系统规模扩大以及模块化程度越来越高，各组件关联性越来越强，使得调试变得很复杂服务器上存放多样化的日志数据（访问日志，错误日志，程序跟踪日志，中间件平台日志等），需要集中汇总分析日志的数据量越来越大日志的管理困难特性解耦，应用系统及应用监控、分析解耦扩展性，日志系统的扩展性，处理大规模数据高可用性性能可管理性规范日志系统模块划分日志收集多样化的日志收集方式，一般采用适配器或依赖于操作系统的流处理，通过传输模块将数据传输到日志服务。

Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。

这里假设你对CORBA毫无所知。对JAVA略有所知，因为这里使用JAVA作为程序设计语言。学习了本书，你将对CORBA有个初步了解，并能编写一个简单完整的CORBA应用程序。CORBA简介CORBA（Common Object Request Broker Architecture）是为了实现分布式计算而引入的。为了说明CORBA在分布计算上有何特点，我们从它与其它几种分布计算技术的比较中进行说明。

MapReduce编程模型的思想来源于函数式编程语言Lisp，由Google公司于2004年提出并首先应用于大型集群。同时，Google也发表了GFS、BigTable等底层系统以应用MapReduce模型。在2007年，Google’s MapReduce Programming Model-Revisted论文发表，进一步详细介绍了Google MapReduce模型以及Sazwall并行处理海量数据分析语言。Google公司以MapReduce作为基石，逐步发展成为全球互联网企业的领头羊。 <br> Hadoop作为Apache基金会资助的开源项目，由Doug Cutting带领的团队进行开发，基于Lucene和Nutch等开源项目，实现了Google的GFS和Hadoop能够稳定运行在20个节点的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop项目正式支持HDFS和MapReduce的独立开发。同时，新兴公司Cloudera为Hadoop提供了商业支持，帮助企业实现标准化安装，并志愿贡献社区。Hadoop的最新版本是0.21.0，说明其还在不断完善发展之中。

极限存储设计原理及实践淘宝-数据平台与产品部图海云梯

hadoop Map/Reduce开发实例

Hadoop是MapReduce的开源实现，现在介绍它的单机模式安装方法。实验平台：Ubuntu9.04，Hadoop0.20，JDK1.6。

目录：云存储背景知识、云存储 vs RDBMS。Bigtable数据模型。Bigtable主要组件。HBase的体系结构。

主要内容：HDFS简介，系统架构，面临的挑战，解决方案什么。

软件开发云平台的建立需要分别考虑现有物理集中的IT资源，更需要考虑如何利用云计算的平台建立一个面向将来需求，面向发展的动态计算资源分配管理和服务自动化平台。这就需要充分考虑整个平台的延展性和可扩充性，从而帮助用户可以以最小的成本来搭建具有高度伸缩性的平台。

在Master上运行的是JobTracker守护进程，而在Slave上运行的是TaskTracker守护进程。对于一个作业，首先提交给JobTracker，再由JobTracker对提交的作业进行处理。

概述HadoopMap-Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个Map-Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。