基于Hadoop的数据收集系统 - Chukwa 经验

Chukwa,简单的说它是一个数据收集系统,它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。Chukwa 本身也提供了很多内

openkk 2012-02-27   44721   0

MongoDB集成Hadoop进行统计计算 经验

还提供了对外部统计工具的接口,这就是本文要说的MongoDB-Hadoop的数据中间件。文章内容来源于MongoDB官方博客。 原理图解 MongoDB与Hadoop相结合的方式如下图所未,MongoDB作为数据

jopen 2013-01-06   53707   0

Hadoop在Windows环境下的部署 经验

经过一整天的折腾,参考了网上很多资料,我机器上的Hadoop似乎是配置成功了。下面分享一下详细的配置过程。也祝愿大家在配置的过程中少走弯路。 注意:本文的配置环境是: CygWin最新版本2.769

fmms 2012-04-03   86352   0

hadoop与mysql数据库的那点事 经验

com/JimLy-BUG/p/5177952.html 转眼间已经接触了hadoop两周了,从之前的极力排斥到如今的有点喜欢,刚开始被搭建hadoop开发环境搞得几乎要放弃,如今学会了编写小程序,每天都在成长一点挺好的,好好努力

htwoz 2016-02-02   14801   0
P7

  Hadoop1.0.0学习笔记 文档

Hadoop 1.0.0学习笔记 一. 安装JDK,配置环境JAVA环境变量 export JAVA_HOME=/home/ligang/jdk1.6.0_26 export JRE_HOME=/home/ligang/jdk1

Swear_Max 2013-01-15   2690   0
P4

  hadoop SequenceFile 文件写入及各式分析 文档

 hadoop SequenceFile 文件写入及各式分析 2012-07-06 16:36:22 标签:hadoop SequenceFile 原创作品,允许转载,转载时请务必以超链接形式标明文章

songyl525 2013-12-11   2837   0
P8

  搭建hadoop+hbase集群 文档

搭建Hadoop+Hbase集群平台 软件工程研究所2014 一、环境及目标: - 系统: Ubuntu 12.10 - Hadoop版本:1.0.4 - Hbase 版本:0.94.8(hindex

moshco 2017-02-06   503   0
P

Hadoop 官方中文文档 文档

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

hans511002 2012-06-24   345   0
P8

  Lucene+Hadoop分布式 文档

Nut开发环境搭建(虚拟机下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2开发环境的搭建) blog: http://www.blogjava.net/nianzai/

huaxinmifeng 2011-10-27   7864   0
P33

  Hadoop中HDFS源代码分析 文档

 Hadoop中HDFS源代码分析 目 录 一、Hadoop系统基础 - 1 - 1.1、Hadoop简介 - 1 - 1.2、Hadoop的项目组成 - 2 - 1.3、Hadoop基本架构模型 -

gps2012 2013-01-14   519   0
P7

  Hadoop 的一周学习心得 文档

Hadoop的一周学习心得 --徐少辉 一、 Hadoop (一) Hadoop是什么 Apache的Hadoop是一个商业硬件上运行的建造大型集群应用的框架。透明的Hadoop框架提供应用可靠性和

xsh1019 2013-01-05   3560   0
P4

  Hadoop后台进程介绍 文档

Hadoop后台进程介绍: 1.名称节点NameNode 名称节点是Hadoop后台进程中最重要的部分。Hadoop以一种主/从结构来实现分布式文件系统和分布式计算。分布式文件系统被称为Hadoop File

willfly 2011-08-28   7104   0
P39

  Hadoop:The Definitive Guid 学习笔记 文档

Hadoop:The Definitive Guid学习笔记 mingyuan Email:cn.mingyuan@foxmail.com 1. Meet Hadoop 1.1. Data 数据 本

ch1990 2013-06-17   2068   0

Hadoop批处理调度器 Azkaban 经验

Azkaban 是个简单 的 批处理调度器,用来构建 和 运行 Hadoop作业 或 其他脱机 过程 。 Hadoop 并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

fmms 2011-11-29   29810   0

Hadoop 一:完美集群搭建 博客

JobTracker 可以是同一台机器,也可以分开; # Secondary NameNode 在 Hadoop-1.0.3 中被废弃,用 Checkpoint Node 和 Backup No de 来代替;

jopen 2012-09-14   2672   0
P26

  基于Hadoop的电影推荐系统 文档

1. 基于Hadoop的电影推荐系统 答辩者:李婷婷 指导老师:师智斌 2. Hadoop在大型内容推荐系统中的应用 背景  推荐效果  技术选型  技术实现  推荐系统的评测  Hadoop&Hive使用经验

P24

  Hadoop 平台结构浅析 文档

1. Hadoop平台结构浅析什么是Hadoop? Hadoop是Apache下面的一个分布式并行计算框架,是从Lunece中抽取出来的一个框架。Hadoop的核心设计思想是MapReduce和HDFS

liu1122 2013-01-20   2848   0
P23

  Hadoop 运维杂记 文档

1. Hadoop运维杂记张月@蓝汛 2. 自我介绍张月 性别男,爱好女 就职于蓝汛Chinacache数据平台日志Team 工作内容:开发,运维基于hadoop数据平台及其生态系统;公司内部Hadoop技术推广;

lxz 2014-01-03   2998   0
P31

  Hadoop深入浅出 - MapReduce 文档

Serializable) 16. Hadoop序列化的特点序列化格式特点: 紧凑:高效使用存储空间。 快速:读写数据的额外开销小 可扩展:可透明地读取老格式的数据 互操作:支持多语言的交互 Hadoop的序列化格式:Writable

boke_jian 2014-08-21   2675   0
1 2 3 4 5 6 7 8 9 10