mrjob 可以让用 Python 2.5+ 来编写 MapReduce 作业，并在多个不同平台上运行

* 大数据计算问题的提出：如何处理并行计算、如何分发数据、如何处理错误等等。这些问题合起来使得大数据处理变得复杂 * 为了解决这些问题，需要设计新的计算抽象模型：只要表述想要执行的运算，而屏蔽了并行计算、容错、数据分发、负载均衡等复杂细节，这些细节被封装在一个库里

在程序员开发并行程序时，Map-Reduce模式正变得流行起来。这些map-reduce程序通常来并行处理大量数据。本文来演示如何在Oracle数据库上，通过使用Parallel Pipelined Table函数及并行操作，来实现Map-Reduce程序。（译者注：table()是oracle中一个函数，可以把定义为Pipelined的function的返回结果进行SQL查询）

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce，Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReducejob性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。

MapReduce作业框架
注解：InputFormat：输入格式OutputFormat：输出格式Mapper：map阶段工作Reducer：reduce阶段工作2程序员需要实现的类和方法.

　最近几年，最受关注的方法之一是Apache Hadoop。这是一个开源软件框架，支持上千个节点和PB级数据的数据密集型分布式分析。它的底层技术源于谷歌内部开发者发明的搜索引擎。他们使用它查找有用的索引数据及其他“富”信息，然后将结果通过各种方法返回给用户。他们将这种技术称为MapReduce - 而现在的Hadoop是一个开源版本，可供数据架构师用于实现计算密集型深度分析。

◆MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. ◆MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。 ◆这两个函数的形参是key、value对，表示函数的输入信息。

Hadoop源代码分析（MapReduce概论） - 大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。

前面提到作业初始化将创建一系列的TaskInProgress缓存到内存,等待各个 tasktracker结点向jobtracker发送心跳请求任务,由jobtracker端的调度器分配任务,默认 JobQueueTaskScheduler,具体实现对应assignTasks方法

江湖传说永流传： 谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！ 谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的 GFS ，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学会推荐会议里属于A类。SOSP在单数年举办，而OSDI在双数年举办。 那么这篇博客就来介绍一

在过去几年，Apache Spark的采用以惊人的速度增加着，通常被作为MapReduce后继，可以支撑数千节点规模的集群部署。在内存中数 据处理上，Apache Spark比MapReduce更加高效已经得到广泛认识；但是当数据量远超内存容量时，我们也听到了一些机构在Spark使用 上的困扰。因此，我们与Spark社区一起，投入了大量的精力做Spark稳定性、扩展性、性能等方面的提升。既然Spark在GB或TB级别数据上运行 良好，那么它在PB级数据上也应当同样如此。

hadoop 里执行 MapReduce 任务的几种方式

所谓的经典版本的MapReduce框架，也是Hadoop第一版成熟的商用框架，简单易用是它的特点

我们基于Hadoop 1.2.1源码分析MapReduce V1的处理流程。

可怜的MapReduce，直到2013年末，都是Hadoop系统中的关键一环，在这个开源大数据处理框架中，它既是集群的资源管理器，又作为主要编程手段和处理环境存在。但如今看来，情况正在发生变化。

使用MapReduce新版客户端API提交MapReduce Job需要使用 org.apache.hadoop.mapreduce.Job 类。JavaDoc给出以下使用范例。

MapReduce是一个编程模式，它是与处理/产生海量数据集的实现相关。用户指定一个map函数，通过这个map函数处理key/value（键/值）对，并且产生一系列的中间key/value对，并且使用reduce函数来合并所有的具有相同key值的中间键值对中的值部分。现实生活中的很多任务的实现都是基于这个模式的，正如本文稍后会讲述的那样。<br><br> 使用这样的函数形式实现的程序可以自动分布到一个由普通机器组成的超大几群上并发执行。run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。<br><br> 我们的MapReduce系统的实现运行在一个由普通机器组成的大型集群上，并且有着很高的扩展性：一个典型的MapReduce计算处理通常分布到上千台机器上来处理上TB的数据。程序员会发现这样的系统很容易使用：已经开发出来了上百个MapReduce程序，并且每天在Google的集群上有上千个MapReducejob正在执行。

MR4C 是 Google 开发的 C++ 的 MapReduce 框架，你可以在 Hadoop 架构中执行本地代码。

对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该

1.MapReduce作业运行流程 下面贴出我用visio2010画出的流程示意图：