Hadoop配置文件参数说明 经验

1 获取默认配置 配置 hadoop ,主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件,默认下来,这些配置文件都是空的,所以很难知

jopen 2014-10-29   23537   0

Hive:基于hadoop的数据仓库工具 经验

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件 映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快

jopen 2014-11-25   24320   0

Hadoop 数据管理平台:Apache Falcon 经验

Apache Falcon 提供了一个用于治理和编排 Hadoop 内部和周边数据流的数据处理框架。该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关

jopen 2015-01-19   24215   0

Hadoop时代的大数据架构 经验

到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x进化到目前的2.6版本。我 把2012年后定义成后Hadoop平台时代,这不是说不用Hadoop,而是像NoSQL

b77m 2015-04-22   140189   0

如何高效的阅读hadoop源代码? 经验

个人谈谈阅读hadoop源代码的经验。 首先,不得不说,hadoop发展到现在这个阶段,代码已经变得非常庞大臃肿,如果你直接阅读最新版本的源代码,难度比较大,需要足够的耐心和时间,所以,如果你觉得

ybny 2015-04-24   25911   0

大数据(一) - hadoop生态系统及版本演化 经验

HDFS:分布式存储系统(Hadoop Distributed File System):提供了高可靠性、高扩展性和高吞吐率的数据存储服务 HDFS源自于Google的GFS论文 (发表于2003年10月 ),是GFS克隆版

jopen 2016-01-20   22814   0
P11

  ubuntu下安装配置hadoop1.0.4 文档

下 安装配置 hadoop 1.0.4 第一次搞hadoop,折腾我2天,功夫不负有心人,终于搞好了,现在来分享下, 我的环境 操作系统:wmv虚拟机中的ubuntu12.04 hadoop版本:hadoop-1

zhangbc 2013-09-06   757   0
P5

  在windows上建立hadoop+eclipse开发环境 文档

在windows上建立hadoop-eclipse开发环境 参见《hadoop开发者》第一期的“在Windows上安装Hadoop教程” 《Windows下基于Eclipse的Hadoop开发环境完全配置.doc》

lxj2008 2014-01-19   358   0
P33

  分布计算中的hadoop编程技术 文档

1 问题描述 24 6.2 相关工作 24 6.2.1 MapReduce 24 6.2.2 Hadoop 25 6.2.3 异构环境中后备任务调度 25 6.3 实现细节 26 6.3.1 整体框架

sts2008 2010-12-02   4916   0
P8

  VM下配置Hadoop详细教程 文档

VM下配置Hadoop详细教程 前言: Hadoop是一个分布式系统基础架构,主要是由HDFS、MapReduce和Hbase组成,分别为Google集群系统GFS、MapReduce、BigTab

12csc12 2011-10-19   293   0
P83

  Hadoop源代码分析(完整版) 文档

Hadoop源代码分析(一) 关键字: 分布式 云计算 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster: http://research

cixiang 2010-11-15   335   0

基于Hadoop的工作流引擎 Oozie 经验

是一个开源的工作流和协作服务引擎,基于 Apache Hadoop 的数据处理任务。Oozie 是可扩展的、可伸缩的面向数据的服务,运行在Hadoop 平台上。 Oozie 包括一个离线的Hadoop处理的工作流解决方案,以及一个查询处理

openkk 2011-12-16   61812   0
P42

  Hadoop可靠性概述(百度) 文档

1. Hadoop可靠性概述 2. HDFS可靠性概述 3. HDFS系统架构 4. NameNode元数据结构根目录File01directory01File03Block01Block01_bac

hans511002 2012-06-24   776   0
P32

  基于hadoop的数据仓库技术 文档

1. 基于hadoop的数据仓库技术 2. 目录Hadoop简介 HDFS (Hadoop Distributed File System) MapReduce Hive本文的内容主要来自三篇hadoop领域的核心论文

cqn1512 2013-05-02   3410   0
P16

  亿赞普Hadoop应用浅析 文档

亿赞普Hadoop应用浅析IZP 肖燕京密级: 2. 目录一 IZP Hadoop集群现状 Hadoop应用 Hadoop集群维护及出现的问题密级: 3. 一:IZP Hadoop集群现状集群规模 共大、小

lxz 2014-01-03   625   0
P30

  淘宝Hadoop与数据分析 文档

1. 1Hadoop与数据分析淘宝数据平台及产品部基础研发组 周敏日期:2010-05-26 2. OutlineHadoop基本概念 Hadoop的应用范围 Hadoop底层实现原理 Hive与数据分析

lxz 2014-01-03   3863   0
P30

  基于hadoop-hbase的一淘搜索离线系统 文档

1. 基于Hadoop/HBase的一淘搜索离线系统莫 问 2. 个人简介花名:莫问 真名:王峰 2006年硕士毕业于北航计算机系 毕业后加入阿里巴巴集团 雅虎中国 - 垂直搜索团队 阿里云 - 计算服务团队

moshco 2017-02-06   642   0
P36

  以Hadoop为核心的大数据开放平台建设 文档

1. 以Hadoop为核心的大数据开放平台建设孙利兵驾驭大数据http://www.xfyun.cn/ 2. 大数据技术发展Native lib Checksum 机制 ShortCircuit Read一头奔跑的大象,不断进化YARN

ee37 2015-07-05   501   0
P12

  淘宝 Hadoop 数据分析实践 文档

1. 淘宝Hadoop数据分析实践淘宝 数据平台与产品部 周敏(周忱) 2. 数据分析选型历程 Hadoop简介 系统架构 集群介绍 近期对Hadoop的改造实践主要内容 3. webalizer awstat 般若

wsldg 2012-02-28   678   0

实现Hadoop分布式环境部署 博客

目标 配置一个分布式计算集群,让hadoop 框架能够正常的运行起来,主要有master 的namenode,jobtracker 和slave 的datanode,tasktracker. 便于之

openkk 2011-01-03   2897   0
并发  
1 2 3 4 5 6 7 8 9 10