Hadoop 实战实例 经验

Hadoop 是Google MapReduce 的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考

fmms 2012-02-08   150779   0

MongoDB Hadoop Adapter 经验

Hadoop的MongoDB适配器。需要MongoDB Java Driver 2.7.3+支持。 项目主页: http://www.open-open.com/lib/view/home/1334108677983

openkk 2012-04-10   19922   0

hadoop压缩与解压 经验

压缩广泛应用于海量数据处理中,对数据文件进行压缩,可以有效减少存储文件所需的空间,并加快数据在网络上或者到磁盘上的传输速度。在Hadoop中,压缩应用于文件存储、Map阶段到Reduce阶段的数据交换(需要打开相关的选项)等情景。

jopen 2014-10-20   54797   0

Hadoop各个类的作用 经验

security.token.block和hdfs.security.token.delegation结合Hadoop的安全框架,提供了安全访问HDFS的机制。 hdfs.util(一些HDFS实现需要的辅助数据结构)

jopen 2014-02-18   63842   0

hadoop的运行原理 经验

hadoop主要由三方面组成: 1、HDFS 2、MapReduce 3、Hbase Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Go

jopen 2016-01-10   11195   0
P6

  hadoop优化配置 文档

目录 一、 datanode的热插拔 2 添加datanode 2 删除datanode(从集群中移走节点,且对移走节点的数据进行备份) 2 二、 启动自动balancer,配置balancer时传输数据的带宽

yveguo 2013-02-27   2258   0
P32

  Hadoop 学习总结 文档

1. Hadoop---------------分布式开发框架 2. 目录 3. 数据纽约证券交易所每天产生1TB的交易数据 社交网站facebook的主机存储着约10亿张照片,占据PB级存储空间 互

orangeking 2012-06-29   8911   0
P36

  Hadoop / MapReduce 讨论与学习 文档

1. Hadoop / MapReduce 讨论与学习 2. Hadoop 源起Apache Lucene 开源的高性能全文检索工具包 Apache Nutch 开源的 Web 搜索引擎 Google

jphnny 2016-06-28   3381   0
P38

  Hadoop 介绍 - API 文档

1. Hadoop 电子工业出版社 刘鹏主编《云计算》教材配套课件8 2. 主要内容Hadoop项目简介 HDFS体系结构 HDFS关键运行机制 Hadoop VS.Google(分布式文件系统) Hadoop

zoujl 2012-08-29   4332   0
P38

  Hadoop 技术讲解 文档

1. Hadoop 电子工业出版社 刘鹏主编《云计算》教材配套课件8 2. 主要内容Hadoop项目简介 HDFS体系结构 HDFS关键运行机制 Hadoop VS.Google(分布式文件系统) Hadoop

aaron509 2012-03-01   4567   0

Hadoop安装指南 博客

支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 Win32平台是作为 开发平台 支持的。由于分布式操作尚未在W

jopen 2012-09-06   2803   0
jeecg  

Hadoop的Python封装 Dumbo 经验

fm发布了基于Python的Dumbo(小 飞象)项目,Dumbo能够帮助Python开发者更方便的编写Hadoop应用,并且Dumbo为MapReduce应用提供了灵活易用的Python API。Last.f

openkk 2012-06-08   30083   0

Hadoop java操作HDFS 经验

hfds 是一种文件系统,用于存储hadoop将要处理的数据。适用于大规模分布式数据处理,是一个 可扩展行的文件分布式系统; 优点 1、如果出现节点宕机,hdfs,可以持续监视,错误检查,容错处理,文档恢复

jopen 2013-08-16   49709   0
P46

  云计算之Hadoop 文档

云计算之Hadoop报告人:赵辉 指导老师:杨树强 2. 报告内容Hadoop核心 Hadoop dfs(Hdfs) MapReduce 分布式并行计算模型 Hadoop扩展 Hadoop base

huafenged 2011-08-17   4776   0
P38

  Hadoop 技术讲解 文档

1. Hadoop 电子工业出版社 刘鹏主编《云计算》教材配套课件8 2. 主要内容Hadoop项目简介 HDFS体系结构 HDFS关键运行机制 Hadoop VS.Google(分布式文件系统) Hadoop

xiexiantao 2012-06-20   2317   0
P38

  Hadoop项目简介 文档

1. Hadoop 电子工业出版社 刘鹏主编《云计算》教材配套课件8 2. 主要内容Hadoop项目简介 HDFS体系结构 HDFS关键运行机制 Hadoop VS.Google(分布式文件系统) Hadoop

451237450 2011-11-10   4302   0
P38

  Hadoop 技术讲解 文档

1. Hadoop 电子工业出版社 刘鹏主编《云计算》教材配套课件8 2. 主要内容Hadoop项目简介 HDFS体系结构 HDFS关键运行机制 Hadoop VS.Google(分布式文件系统) Hadoop

ning042712 2012-12-03   498   0
P46

  云计算之Hadoop 文档

云计算之Hadoop报告人:赵辉 指导老师:杨树强 2. 报告内容Hadoop核心 Hadoop dfs(Hdfs) MapReduce 分布式并行计算模型 Hadoop扩展 Hadoop base

daibiao 2012-06-13   5056   0

Hadoop的Jython封装 Happy 经验

Hadoop + Python = Happy Happy 为Jython开发者使用Hadoop框架提供了便利,Happy框架封装了Hadoop的复杂调用过程,让Map-Reduce开发变得更为容

openkk 2012-06-08   16928   0

Spark与Hadoop的结合 经验

Spark可以直接对HDFS进行数据的读写,同样支持Spark on YARN。Spark可以与MapReduce运行于同集群中,共享存储资源与计算,数据仓库Shark实现上借用Hive,几乎与Hive完全兼容。 Spark

jopen 2014-09-23   100810   0
1 2 3 4 5 6 7 8 9 10