10个Hadoop的应用场景 问答

谁在用 Hadoop 这是个问题。在大数据背景下,Apache Hadoop 已经逐渐成为一种标签性,业界对于这一开源分布式技术的了解也在不断加深。但谁才是 Hadoop 的最大用户呢?首先想到的当然是它的“发源地”

jopen 2012-07-12   41501   1
Hadoop   ci   C/C++   Go   HTML  
P23

  Hadoop 任务调度器-董西成 文档

Hadoop任务调度器演讲人:董西成 技术博客:dongxicheng.org sina微博:西成懂 2. 提纲基础知识 Hadoop调度流程 Hadoop自带调度器介绍 编写自己的Hadoop调度器

gppxm 2012-10-19   6598   0
P21

  云计算架构 Hadoop 文档

1. 云计算架构Hadoop为商业打开数据之门 2. 1Hadoop是什么?开源软件工业标准硬件IT成本降低 3. 2 2004年,Google发表论文,向全世界介绍了MapReduce。 2005年

altila 2012-06-12   745   0
P230

  Hadoop之HBase从入门到精通 文档

HBASE从入门到精通 一、 HBase技术介绍 HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC

ijamesbond 2015-03-17   6869   0

Hadoop HDFS文件操作的Java代码 经验

apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;

jopen 2013-07-11   84118   0

Hadoop批处理调度器 Azkaban 经验

Azkaban是个简单的批处理调度器,用来构建和运行Hadoop作业或其他脱机过程。 项目主页: http://www.open-open.com/lib/view/home/1339233539396

openkk 2012-06-09   16216   0

Hadoop五分钟入门指南 经验

com/2013/12/09/hadoop-in-5-minutes-for-beginners/#.Uqhs3_Q6Cjt 如果你有大量的数据(TB级),而且这些数据到处分散,且有些数据是结构化的,有些数据不是。你想

jopen 2013-12-12   21448   0

Hadoop集群监控工具:HTools 经验

HTools是一款专业的Hadoop管 理工具,不管您是非专业IT人士,还是多年经验的技术人员,本工具都会为您提供优质的管理服务和轻松的操作过程, 释放无谓的工作压力,提高Hadoop的管理水平。我们以最

jopen 2013-12-25   39788   0

Hadoop中MapReduce框架入门 经验

MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题.对于业 界的大数据存储及分布式处理系统来说Hadoop2提出的新MapReudce就是YARN: A framework

jopen 2014-11-17   47213   0

Hadoop 2.x HDFS新特性 经验

Hadoop 2.x HDFS新特性 HDFS联邦 HDFS HA(要用到zookeeper等,留在后面再讲) HDFS快照 回顾: HDFS两层模型 Namespace: 包

jopen 2015-01-13   19497   0

Hadoop初步体验(安装与测试) 经验

简述:Hadoop是最著名使用最广泛的分布式大数据处理框架,它是用Java开发的。 物理主机、虚拟机、虚拟主机这三个就不多说了。我们先在ubuntu里添加一个叫hadoop的用户 ‍ 1:安装jdk

jopen 2015-02-13   14404   0

阿里类似Hadoop MapReduce的系统:jstorm 经验

Storm 是一个类似Hadoop MapReduce的系统, 用户按照指定的接口实现一个任务,然后将这个任务递交给JStorm系统,Jstorm将这个任务跑起来,并且按7 * 24小时运行起来,一旦中间一个worker

jopen 2014-02-27   43539   0

Cloudbreak - 基于Hadoop的Docker service API 经验

Cloudbreak 是首个基于hadoop的docker service API。 Cloudbreak 建立于 Apache Ambari , Docker containers, Serf 和 dnsmasq

jopen 2014-08-24   15444   0

在 Docker 上建立多节点的 Hadoop 集群 经验

上建立多节点的 Hadoop 集群 在 上篇文章 中你已经看到了在你的devbox创建一个单点Hadoop 集群是多么简单。 现在我们提高门槛,在Docker上创建一个多点hadoop集群。在开始前,确保你有最新的Ambari镜像:

jopen 2014-07-01   29523   0

Hadoop构建电影推荐系统 经验

Hadoop家族系列文章 ,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari

jopen 2014-07-30   77065   0
P23

  Hadoop源码分析-MapReduce部分 文档

2009-02-21 Hadoop源代码分析(MapReduce概论) 大家都熟悉文件系统,在对HDFS进行分析前,我们并没有花很多的时间去介绍HDFS的背景,毕竟大家对文件系统的还是有一定的理解的

dishad631 2010-10-01   5060   0
P12

  Hadoop 源码以及流程解析 文档

Hadoop源码以及流程解析 整体结构 DN: Configuration,JobClient,JobConf Master:JobTracker,JobInProgress,TaskInProgress

xfj3526 2012-06-13   2384   0

Elasticsearch、MongoDB和Hadoop比较 经验

作者:随意而生 IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性,避免落大部队太 远,我们看到了不同技术之间的边际的模糊化。假如你有

jopen 2015-05-12   22864   0

hadoop作业调优参数整理及原理 经验

buffer大小可以通过那个参数来设置? 2.如何降低map的split的次数? 3.map中的数据什么情况下会写入磁盘?spill是什么? 4.map其实是当buffer被写满到一定程度(比如

mq2126 2016-01-21   9102   0

Hadoop和Spark框架的异同 经验

谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是停留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。 1 解决问题的层面不一样

oxzr6054 2016-09-02   14060   0
1 2 3 4 5 6 7 8 9 10