P33

  分布计算中的hadoop编程技术 文档

1 问题描述 24 6.2 相关工作 24 6.2.1 MapReduce 24 6.2.2 Hadoop 25 6.2.3 异构环境中后备任务调度 25 6.3 实现细节 26 6.3.1 整体框架

sts2008 2010-12-02   4916   0
P3

  Hadoop 搭建步骤(个人整理篇) 文档

如果有问题,欢迎@banligege Hadoop版本:hadoop-0.21.0 Java版本:1.6.0_26 操作系统: CentOS-5.4-x86_64-bin-DVD.iso 三台机器:一台做master、两台做slave。

foreveract 2013-05-26   2672   0
P8

  VM下配置Hadoop详细教程 文档

VM下配置Hadoop详细教程 前言: Hadoop是一个分布式系统基础架构,主要是由HDFS、MapReduce和Hbase组成,分别为Google集群系统GFS、MapReduce、BigTab

12csc12 2011-10-19   293   0
P83

  Hadoop源代码分析(完整版) 文档

Hadoop源代码分析(一) 关键字: 分布式 云计算 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster: http://research

cixiang 2010-11-15   335   0

基于Hadoop的工作流引擎 Oozie 经验

是一个开源的工作流和协作服务引擎,基于 Apache Hadoop 的数据处理任务。Oozie 是可扩展的、可伸缩的面向数据的服务,运行在Hadoop 平台上。 Oozie 包括一个离线的Hadoop处理的工作流解决方案,以及一个查询处理

openkk 2011-12-16   61812   0
P42

  Hadoop可靠性概述(百度) 文档

1. Hadoop可靠性概述 2. HDFS可靠性概述 3. HDFS系统架构 4. NameNode元数据结构根目录File01directory01File03Block01Block01_bac

hans511002 2012-06-24   776   0
P32

  基于hadoop的数据仓库技术 文档

1. 基于hadoop的数据仓库技术 2. 目录Hadoop简介 HDFS (Hadoop Distributed File System) MapReduce Hive本文的内容主要来自三篇hadoop领域的核心论文

cqn1512 2013-05-02   3410   0
P16

  亿赞普Hadoop应用浅析 文档

1. 亿赞普Hadoop应用浅析IZP 肖燕京密级: 2. 目录一 IZP Hadoop集群现状 Hadoop应用 Hadoop集群维护及出现的问题密级: 3. 一:IZP Hadoop集群现状集群规模

lxz 2014-01-03   625   0
P30

  淘宝Hadoop与数据分析 文档

1. 1Hadoop与数据分析淘宝数据平台及产品部基础研发组 周敏日期:2010-05-26 2. OutlineHadoop基本概念 Hadoop的应用范围 Hadoop底层实现原理 Hive与数据分析

lxz 2014-01-03   3863   0
P30

  基于hadoop-hbase的一淘搜索离线系统 文档

1. 基于Hadoop/HBase的一淘搜索离线系统莫 问 2. 个人简介花名:莫问 真名:王峰 2006年硕士毕业于北航计算机系 毕业后加入阿里巴巴集团 雅虎中国 - 垂直搜索团队 阿里云 - 计算服务团队

moshco 2017-02-06   642   0
P36

  以Hadoop为核心的大数据开放平台建设 文档

1. 以Hadoop为核心的大数据开放平台建设孙利兵驾驭大数据http://www.xfyun.cn/ 2. 大数据技术发展Native lib Checksum 机制 ShortCircuit Read一头奔跑的大象,不断进化YARN

ee37 2015-07-05   501   0
P12

  淘宝 Hadoop 数据分析实践 文档

1. 淘宝Hadoop数据分析实践淘宝 数据平台与产品部 周敏(周忱) 2. 数据分析选型历程 Hadoop简介 系统架构 集群介绍 近期对Hadoop的改造实践主要内容 3. webalizer awstat 般若

wsldg 2012-02-28   678   0

实现Hadoop分布式环境部署 博客

目标 配置一个分布式计算集群,让hadoop 框架能够正常的运行起来,主要有master 的namenode,jobtracker 和slave 的datanode,tasktracker. 便于之

openkk 2011-01-03   2897   0
并发  

hadoop集群中配置map/reduce节点数问题 问答

我现在集群中有9个slave,我需要配置成map节点5个,reduce节点3个,那么我在master节点的mapred-site.xml中设置之后,是否需要将这个配置文件拷贝到slave节点上去覆盖原先的那个配置文件?

Numen_fan 2017-04-17   1250   0
C/C++   Hadoop   XML  

Hadoop到Spark的架构实践 经验

经验。本文则主要介绍TalkingData在大数据平台建设过程中,逐渐引入Spark,并且以 Hadoop YARN和Spark为基础来构建移动大数据平台的过程。 初识Spark 作为一家在移动互

jopen 2015-06-08   49372   0

Hadoop的Server及其线程模型分析 经验

早期的一篇文章,针对Hadoop 2.6.0.这里发一下. 一、Listener Listener线程,当Server处于运行状态时,其负责监听来自客户端的连接,并使用Select模式处理Accept事件。

er74 2015-07-26   15301   0

Hadoop 通用数据摄取框架:Gobblin 经验

Gobblin 是 Hadoop 通用数据摄取框架,可以从各种数据源中提取,转换和加载海量数据。比如:数据库,rest APIs,filers,等等。Gobblin 处理日常规划任务需要所有数据摄取

jopen 2015-09-15   31462   0

Hadoop和Spark的处理模型比较 经验

发模型(这里指server/driver端采用的模型),这与Hadoop 2.0(包括YARN和MapReduce)是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型,实现方式是epoll+状态机,而Apache

jopen 2016-01-08   10239   0

hadoop再次集群搭建(4)-Cloudera Manager Installation 经验

资源和本地资源的情况下,可以自动安装和配置CDH(Cloudera  distributed hadoop),以及管理在这个集群上面的服务。 Cloudera Manager安装软件包括: A small

jopen 2016-01-18   13599   0

Hadoop上时实类SQL查询系统对比 经验

数据仓库时还是很有价值的。 目前来说只有impala比较成熟( 人 家标称要使用CDH版本hadoop,如果要使用apache的,要做好测试的心里准备 )。 其它两个系统还都处理孵化状态,但是前景非常不错。

jopen 2013-11-30   29365   0
1 2 3 4 5 6 7 8 9 10