Apache Hadoop 2.0.3 发布 资讯

Apache Hadoop 2.0.3发布了,在这次版本更新中,主要增加了以下几个特性: 1.  引入一种新的HDFS HA解决方案QJM 之前NameNode HA已经有两种解决方案,分别是基于共享存储区的Backup

jopen 2013-02-17   22484   0

Twitter Storm 开源实时Hadoop简介 资讯

Storm 可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm 之于实时处理,就好比 Hadoop 之于批处理。Storm 保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理

码头工人 2011-09-29   18518   0

hadoop家族介绍 资讯

原文 http://voidy.net/hadoop_family/ 简介 Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品

jopen 2015-08-31   28652   0
Hadoop  
P4

  Hadoop安装教程 - 单机模式 文档

Hadoop安装教程——单机模式 Hadoop是MapReduce的开源实现,现在介绍它的单机模式安装方法。 实验平台:Ubuntu 9.04,Hadoop0.20,JDK1.6 step 1. ssh的安装设置

yugouai 2012-01-07   4424   0
P12

  hadoop-hbase-zookeeper配置 文档

hadoop-hbase-zookeeper配置 1.集群配置环境: VMware虚拟机下/ubuntu-10.10-desktop-i386.iso 主机名 hadoopName/172.16.19

hfy_17 2012-12-02   542   0

Hadoop2.2.0源代码编译 经验

内存:4G,硬盘:50G 二、前提条件: 1:将rhel6.5的iso文件作为yum源 2:hadoop-2.2.0-src.tar.gz 3:安装JDK 1.6.0_43 4:安装并配置apache-maven

jopen 2014-01-12   31548   0

Hadoop 集群配置(最全面) 经验

。余下的机器即作为DataNode 也 作为TaskTracker。这些机器是 slaves\ 官方地址:( http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup

fmms 2012-02-06   120812   0

Hadoop集群数据处理API:Cascading 经验

Cascading 是一个架构在 Hadoop 上的API,用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用,而不用考虑背后的MapReduce。 Cascading目前依赖于

jopen 2011-12-22   28341   0

Nutch+Hadoop集群搭建 经验

Server) 注:fetchers和searchers两个节点所对应的操作可放到分布式环境(hadoop)中去完成 创建索引及查询的操作可通过solr框架来实现 1.2、Nutch的数据结构:

fmms 2012-02-07   169808   0

hadoop hive sql语法详解 经验

the map phase through the script /bin/cat (like hadoop streaming). Similarly - streaming can be used on

openkk 2012-02-14   44168   0

Hadoopy: 使用Cython实现Python对Hadoop的封装 经验

Hadoopy是Hadoop Streaming的一个Python封装,采用Cython开发。它简单,快速,并且易于被修改。它已经在超过700个节点的集群中测试过了。Hadoopy的目标是: Similar

jopen 2013-01-11   24807   0

hadoop HDFS 的PHP扩展:phdfs 经验

phdfs是一个采用C语言的实现的PHP扩展,能够使用PHP来操作Hadoop HDFS文件系统。示例: port = "9000";

jopen 2014-08-02   43024   0

Hadoop 安全机制认证---Kerberos 经验

1. 背景 在Hadoop1.0.0或者CDH3 版本之前, hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的,值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用

jopen 2014-10-29   17181   0

配置高可用的Hadoop平台 经验

概述 在Hadoop2.x之后的版本,提出了解决单点问题的方案--HA(High Available 高可用)。这篇博客阐述如何搭建高可用的HDFS和YARN,执行步骤如下: 创建hadoop用户 安装JDK

jopen 2015-02-26   38061   0

Hadoop RPC使用方法示例 经验

定义RPC协议 import java.io.IOException; import org.apache.hadoop.ipc.VersionedProtocol; /**  * DateTime: 2014年12月28日 上午9:32:12

码头工人 2014-12-29   18619   0

搭建hadoop/spark集群环境 经验

hadoop和spark集群的搭建,主要用到了hadoop2.5.2、spark1.2.0、scala2.11.4 hadoop2.5.2的安装可以参照 http://blog.csdn.ne

jopen 2014-12-25   113517   0

述说我的Hadoop成长路线 经验

Hadoop启蒙 还在实验室时,老师就建议看google关于大数据的三篇论文,啃了好长时间还是没完全理解。也动手搭建了Hadoop集群,运行了wordcount,带着“Hadoop会火“的指示离开了实验室。

jopen 2015-03-11   29845   0

Hadoop 压缩实现分析 经验

Hadoop 作为一个较通用的海量数据处理平台,每次运算都会需要处理大量数据,我们会在 Hadoop 系统中对数据进行压缩处理来优化磁盘使用率,提高数据在磁盘和网络中的传输速度,从而提高系统处理数据的

hbnyb 2016-01-21   21499   0

Hadoop平台架构 经验

来自: http://www.itweet.cn/2016/01/25/Hadoop-Disk-Planning/ 文章目录 1. 简介 2. 走向分布式 3. 存储规划 4. HDFS目录规划 4

dongpo 2016-01-27   21195   0

10个Hadoop的应用场景 问答

谁在用 Hadoop 这是个问题。在大数据背景下,Apache Hadoop 已经逐渐成为一种标签性,业界对于这一开源分布式技术的了解也在不断加深。但谁才是 Hadoop 的最大用户呢?首先想到的当然是它的“发源地”

jopen 2012-07-12   41501   1
Hadoop   ci   C/C++   Go   HTML  
1 2 3 4 5 6 7 8 9 10