英特尔放弃发行 Hadoop 版本,转而支持 Cloudera 资讯

据Marketwatch 报道 ,英特尔昨天作出了一个震惊整个大数据市场的决定——停止发行英特尔自己的Hadoop版本,转而支持Hadoop发行商Cloudera。 消息人士透露英特尔资本还将向Cloudera追加超过

jopen 2014-03-27   8374   0
P18

  MapReduce 源码分析完整版 文档

 一 MapReduce概述 Map/Reduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的,Google已经将它完整的MapReduce论文公开发布了。其中

wanghaoms 2013-03-05   3360   0

mysql的安装以及和mapreduce的交互 经验

:选择安装类型,有"Typical(默认)"、"Custom(定制安装)"、"Complete(完全)"三个选项。 典型安装 :安装安装MySQL服务器、mysql命令行客户端和命令行实用程序。命令行客户端和实用程序包括mysqld

jopen 2014-11-08   52451   0

用JavaScript阐述MapReduce原理 博客

4年在OSDI上发布的MapReduce,以及2006年在OSDI上发布的BigTable。GFS是文件系统相关的,其对后来的分布式文件系统设计具有指导意义;MapReduce是一种并行计算的编程模型

码头工人 2013-10-15   4778   0
P4

  MapReduce 程序编程框架 文档

MapReduce程序编程框架 ——HuangFx 1 MapReduce作业框架 注解: InputFormat:输入格式 OutputFormat:输出格式 Mapper:map阶段工作 Reducer:reduce阶段工作

gaofei8704 2013-06-19   624   0

MapReduce单元测试框架 MRUnit 经验

MRUnit是由Couldera公司开发的专门针对 Hadoop编写MapReduce单元测试的框架,基本原理是JUnit4和 EasyMock。MR就是Map和Reduce的缩写。MRUnit框架

jopen 2012-02-02   44233   0

运用 Aggregator 模式实现 MapReduce 经验

MapReduce是更好地利用并行计算资源来提升数据处理能力的重要算法,如今已被主流的大数据分析平台实现,成为了大数据批量处理的主力军。利用前面介绍的Actor特性,其实我们也可以实现一个简易的MapReduce。

Stephen0304 2016-09-27   13591   0

MapReduce做相似度分析 经验

 “互联网够公司的日志无处不在,web日志,js日志,搜索日志,监控日志等等” 2  "对于这些日志的离线分析(Hadoop),wget&rsync虽然人力维护成本较高,但可以满足功能行需求。但对于这些日志的实时分析需

jopen 2013-12-23   11168   0

MapReduce的数据流程、执行流程 经验

MapReduce的数据流程: 预先加载本地的输入文件 经过MAP处理产生中间结果 经过shuffle程序将相同key的中间结果分发到同一节点上处理 Recude处理产生结果输出 将结果输出保存在hdfs上

jopen 2013-11-27   19471   0

MapReduce论文学习笔记 经验

错、数据分发、负载均衡等复杂细节,这些细节被封装在一个库里 * 抽象模型设计的灵感来自于函数式语言的Map和Reduce原语 - Map:对输入数据应用Map操作得出一个中间对集合

jopen 2013-12-09   33293   0

在 Oracle 数据库中实现 MapReduce 经验

在程序员开发并行程序时,Map-Reduce模式正变得流行起来。这些map-reduce程序通常来并行处理大量数据。本文来演示如何在Oracle数据库上,通过使用Parallel Pipelined

jopen 2014-10-06   23128   0
P11

  MapReduce:详解Shuffle过程 文档

1 MapReduce:详解Shuffle过程 来源:http://langyu.iteye.com/blog/992916 Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce,

sweetbaybe 2012-06-05   519   0
P4

  MapReduce 程序编程框架 文档

MapReduce程序编程框架 ——HuangFx 1 MapReduce作业框架 注解: InputFormat:输入格式 OutputFormat:输出格式 Mapper:map阶段工作 Reducer:reduce阶段工作

gaofei8704 2013-06-25   290   0
P10

  MapReduce 数据分析实战 文档

1. MapReduce数据分析实战–李立松 2. 单机测试与程序执行一、单机测试 head test.log | python map.py | python red.py 一、将文件上传到集群 /bin/hadoop

gppxm 2012-10-19   449   0

mapreduce源码分析作业分配过程 经验

前面提到作业初始化将创建一系列的TaskInProgress缓存到内存,等待各个 tasktracker结点向jobtracker发送心跳请求任务,由jobtracker端的调度器分配任务,默认 JobQueueTaskScheduler,具体实现对应assignTasks方法

jopen 2013-10-10   11771   0

谷歌技术"三宝"之MapReduce 博客

谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)! 谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的 GFS ,04年OSDI的MapReduce,和06年OS

openkk 2012-05-04   5497   0

基于MapReduce开发的数据挖掘/机器学习库 - Mahout 经验

缺少一个活跃的技术社区 扩展性差 文档化差,缺少实例 不开源,商业化库 通常由研究机构开发 实施性差 Apache Mahout优点 技术社区活跃 扩展性好 文档化好,实例丰富

jopen 2016-01-20   17099   0

基于Java Swing开发的SQL数据库管理工具:Java SQL Admin Tool 经验

这是一个基于Java Swing开发的SQL数据库管理工具,通过 JDBC实现。Admin 提供的功能如下: Create Table Create Index Drop Table Modify

jopen 2014-05-30   29115   0

用于开发微信公众号java工具集,weixin-java-tools 1.0.1 发布 资讯

发布说明 1. 提供了对微信消息加解密的支持。 项目简介 weixin-java-tools是一个用于开发微信公众号java工具集。 具有以下特性: 不基于Servlet、和其他M

jopen 2014-10-19   20481   0
P7

  Hadoop实战-初级部分 之 Hadoop IO 文档

2013-12-5文章内容来自:Java私塾 Hadoop实战-初级部分 之 Hadoop IO 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop

singing 2014-01-07   2012   0
1 2 3 4 5 6 7 8 9 10