工作流引擎服务器 Hadoop Oozie 介绍 经验

Oozie是一个工作流引擎服务器,用于运行Hadoop Map/Reduce和Pig 任务工作流.同时Oozie还是一个Java Web程序,运行在Java Servlet容器中,如Tomcat.

jopen 2012-02-04   249329   0

lucene + hadoop 分布式搜索运行框架 Nut 介绍 经验

计算为核心的架构设计是Nut区别于Solr、Katta的地方。 Nut是一个Lucene+Hadoop分布式并行计算搜索框架,能对千G以上索引提供7*24小时搜索服务。在服务器资源足够的情况下能达到每秒处理100万次的搜索请求。

fmms 2012-01-01   43838   0

为什么Hadoop将一定会是分布式计算的未来? 经验

e上面记笔记。不过最近对于Hadoop看得比较多,对它的发展也比较关心,最近了解得越多,也就 越相信Hadoop的未来,这里写一篇文章与大家分享分享,为什么我相信Hadoop一定是分布式计算的未来。

fmms 2012-02-19   111837   0

hadoop2.0集群搭建详解 经验

hadoop2.2.0集群搭建 PS:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的, 因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装 hadoop-2

jopen 2014-04-01   16479   0

Hadoop 进行分布式并行编程, 第 2 部分 经验

前言 在上一篇文章:“用 Hadoop 进行分布式并行编程 第一部分 基本概念与安装部署”中,介绍了 MapReduce 计算模型,分布式文件系统 HDFS,分布式并行计算等的基本原理, 并且详细介绍了如何安装

jopen 2014-01-23   13905   0

Hadoop进行打包,分发和测试的工具:Apache Bigtop 介绍 经验

Bigtop 是一个工程的系统开发包,对Apache Hadoop生态系统的测试。 Bigtop的主要目标就是构建一个Apache Hadoop生态系统的包和交互式测试的社区。这个包括对各类不同级别工程进行

jopen 2014-05-13   35312   0

Hadoop 2.0集群配置详细教程 经验

前言 Hadoop2.0介绍 Hadoop 是 apache 的开源 项目,开发的主要目的是为了构建可靠,可拓展 scalable ,分布式的系 统, hadoop 是一系列的子工程的 总和,其中包含

jopen 2014-03-26   36055   0

Hadoop 统计文件中某个单词出现的次数 经验

org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce

jopen 2013-07-11   38600   0

Hadoop伪分布配置与基于Eclipse开发环境搭建 经验

64-bit only ) 辅助工具: WinSCP + Putty Hadoop 版本: 2.5.0 Hadoop 的 Eclipse 开发插件( 2.x 版本适用): http://pan

jopen 2014-09-02   31951   0

hadoop作业调优参数整理及原理(主要为shuffle过程) 经验

side tuning参数 1.1 MapTask运行内部原理 当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的

jopen 2014-08-27   12298   0

Go开发的基于Hadoop的ETL抽取工具:Crunch 经验

快速开发,快速运行,基于Go工具包。实现基于 Hadoop 的 ETL 和特性抽取工具。 快速入门 Crunch is optimized to be a big-bang-for-the-buck

jopen 2014-11-20   35244   0

Hadoop面试题,看看你能答对多少?答案在后面 经验

单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker

jopen 2014-12-12   31918   0

为什么 Cloudera 要创建 Hadoop 安全组件 Sentry ? 经验

1.  大数据的安全体系 要说清楚这个问题,还得从大数据平台安全体系的四个层次说起:外围安全、数据安全、访问安全以及访问行为监控;如下图所示; 外围安全技术多指传统意义上提到的网络安全技术,如防火墙,登陆认证等;

jopen 2015-02-04   19189   0

Hadoop完全分布式模式的配置与安装 经验

接下来有可能会用到Hadoop相关的知识, 所以这几天就在Vmware里面尝试着搭建了一下. 感觉还行. 所以趁着还记得, 就写下这篇博客, 帮助自己以后回顾, 也帮助那些准备接触Hadoop的童鞋. 因为这也是自己第一次搭建Hadoop

jopen 2015-05-12   13560   0
P6

  Hadoop-1.1.2-eclipse-plugin插件编译步骤及方法 文档

Windows下编译hadoop_eclipse插件步骤. 所需运行环境 安装包. Eclipse Ant Hadoop安装包 一:解压hadoop安装包. 二:导入eclipse-plugin工程

yongning99 2014-01-13   4353   0
P10

  Hadoop 的两种开发模式介绍 文档

mod=viewthread&tid=6950&highlight=hadoop%2B%BF%AA%B7%A2%B7%BD%CA%BD 阅读导航 1插件开发 2示例运行 Hadoop的两种开发模式 一、一种是脱离集群环境的开发:

小牛牛 2015-05-26   2658   0
P13

  Hadoop+HBase集群搭建 详细手册v0.9 文档

Hadoop,ZooKeeper,HBase分布式搭建 前提准备 注: hbase的安装需要hadoop和zookeeper和hbase,生产环境下需要将zookeeper独立安装,hbase软件选

xnbw 2016-01-11   2102   0
P74

  Hadoop权威指南-中文版(前三章) 文档

目录 I 初识Hadoop 1 1.1  数据数据 1 1.2  数据的存储和分析 3 1.3  相较于其他系统 4 1.4  Hadoop发展简史 9 1.5  Apache Hadoop项目 12 MapReduce简介 15

我是第一de 2011-10-03   3243   0

分布式计算平台 - Hadoop 发布了1.0.0版 资讯

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数

fmms 2011-12-31   29605   1
Hadoop  

Hue 3.7 发布,Hadoop 图形化用户界面 资讯

和 Search App 改进。 此版本现已提供 文档 和 发行说明 。包将会在下周提供( Hadoop World )。 主要改进如下: Security New Sentry App

jopen 2014-11-09   9968   0
Hadoop  
1 2 3 4 5 6 7 8 9 10