MapReduce框架结构

作者 cliu1 创建于2010-03-05 03:32:00 修改者cliu1 修改于2010-03-05 03:32:00字数8052
文档摘要:MapReduce框架结构Map/Reduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的,Google已经将它完整的HYPERLINK"http://labs.google.com/papers/mapreduce.html"MapReduce论文公开发布了。其中对它的定义是,Map/Reduce是一个编程模型(programmingmodel),是一个用于处理和生成大规模数据集(processingandgeneratinglargedatasets)的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中间的key/value对,再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的任务都可用这个模型来表达。 Hadoop的Map/Reduce框架也是基于这个原理实现的,下面简要介绍一下Map/Reduce框架主要组成及相互的关系。
关键词:
相关文档
- MapReduce框架结构
- android_camera框架结构
- MapReduce 程序编程框架
- MapReduce 程序编程框架
- ssh框架的构成分析和代码构架小结
- Hadoop 平台结构浅析
- 云计算架构 Hadoop
- MapReduce详解及Eclipse远程连接Hadoop开发MapReduce程序
- Hadoop深入浅出 - MapReduce
- MapReduce 算法设计
- 框架体系结构的UML档案
- MapReduce 工作原理及架构
- Hadoop中HDSF和MapReduce框架介绍
- Hadoop 新 MapReduce 框架 Yarn 详解
- Beyond MapReduce:图计算框架概览