Spring Hadoop - 在 Spring 框架下编写 Hadoop 应用的支持。 经验

在Spring框架下支持编写 Hadoop 应用。Spring Hadoop使MapReduce、Streaming、Hive、Pig和级联工作能够通过Spring容器执行。Hadoop分布式文件系统的数据访问是通过

openkk 2012-06-09   27826   0

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper) 经验

一.概述 1.1 hadoop1.0的单点问题 Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode

jopen 2015-07-14   292150   0

hadoop集群ambari搭建(2)之制作hadoop本地源 经验

hdp]# yum install createrepo 2 :准备 hortonworks hadoop ( HDP ) 2.0.6 本地源 准备 HDP 网络源 [ root@node4 ~]#

jopen 2016-01-18   10823   0

2019 年 Java 和 JVM 生态系统预测:OpenJDK 将成为 Java 运行时市场领导者 经验

本文对 2019 年 Java 和 JVM 生态系统做了一些预测。 正如 InfoQ 2018 年度总结 中说的那样,Java 在 2018 年的发展势头非常有意思。 在我们步入 2019 之际,让我们来看看在新的一年中

码头工人 2019-01-04   12736   0
Java   OpenJDK   JVM   Java开发  
P3

  基于Eclipse的Hadoop编程环境配置 文档

基于Eclipse的Hadoop开发环境配置 废话少说,先说一下开发环境版本。      Hadoop: Apache Hadoop-0.20.0      Eclipse: Eclipse 3.4

lenhan12345 2012-11-27   379   0
P5

  Hadoop在Linux的上安装与配置 文档

Hadoop在Linux的上安装与配置 安装hadoop是一件非常容易的事情,读者可以在官网上下载到最近的几个hadoop版本。网址为http://apache.etoak.com//hadoop/core/

hans511002 2012-06-24   3750   0
P6

  Hadoop集群安装步骤简述 文档

Hadoop集群安装 首先我们统一一下定义,在这里所提到的Hadoop是指Hadoop Common,主要提供HDFS(分布式文件存储)与Map/Reduce的核心功能。   准备安装Hadoop集群之前

wkz_214 2011-09-14   4893   0

Apache Hadoop 2.0.3 发布 资讯

Apache Hadoop 2.0.3发布了,在这次版本更新中,主要增加了以下几个特性: 1.  引入一种新的HDFS HA解决方案QJM 之前NameNode HA已经有两种解决方案,分别是基于共享存储区的Backup

jopen 2013-02-17   22484   0

Twitter Storm 开源实时Hadoop简介 资讯

正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在 GitHub 上,遵循 Eclipse Public License 1.0 。Storm 是由 BackType 开发的实时处理系统,BackType 现在已在

码头工人 2011-09-29   18518   0

hadoop家族介绍 资讯

原文 http://voidy.net/hadoop_family/ 简介 Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品

jopen 2015-08-31   28652   0
Hadoop  
P4

  Hadoop安装教程 - 单机模式 文档

Hadoop安装教程——单机模式 Hadoop是MapReduce的开源实现,现在介绍它的单机模式安装方法。 实验平台:Ubuntu 9.04,Hadoop0.20,JDK1.6 step 1. ssh的安装设置

yugouai 2012-01-07   4424   0
P12

  hadoop-hbase-zookeeper配置 文档

hadoop-hbase-zookeeper配置 1.集群配置环境: VMware虚拟机下/ubuntu-10.10-desktop-i386.iso 主机名 hadoopName/172.16.19

hfy_17 2012-12-02   542   0

Hadoop2.2.0源代码编译 经验

内存:4G,硬盘:50G 二、前提条件: 1:将rhel6.5的iso文件作为yum源 2:hadoop-2.2.0-src.tar.gz 3:安装JDK 1.6.0_43 4:安装并配置apache-maven

jopen 2014-01-12   31548   0

Hadoop 集群配置(最全面) 经验

。余下的机器即作为DataNode 也 作为TaskTracker。这些机器是 slaves\ 官方地址:( http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup

fmms 2012-02-06   120812   0

Hadoop集群数据处理API:Cascading 经验

Cascading 是一个架构在 Hadoop 上的API,用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用,而不用考虑背后的MapReduce。 Cascading目前依赖于

jopen 2011-12-22   28341   0

Nutch+Hadoop集群搭建 经验

Server) 注:fetchers和searchers两个节点所对应的操作可放到分布式环境(hadoop)中去完成 创建索引及查询的操作可通过solr框架来实现 1.2、Nutch的数据结构:

fmms 2012-02-07   169808   0

hadoop hive sql语法详解 经验

the map phase through the script /bin/cat (like hadoop streaming). Similarly - streaming can be used on

openkk 2012-02-14   44168   0

Hadoopy: 使用Cython实现Python对Hadoop的封装 经验

Hadoopy是Hadoop Streaming的一个Python封装,采用Cython开发。它简单,快速,并且易于被修改。它已经在超过700个节点的集群中测试过了。Hadoopy的目标是: Similar

jopen 2013-01-11   24807   0

hadoop HDFS 的PHP扩展:phdfs 经验

phdfs是一个采用C语言的实现的PHP扩展,能够使用PHP来操作Hadoop HDFS文件系统。示例: port = "9000";

jopen 2014-08-02   43024   0

Hadoop 安全机制认证---Kerberos 经验

1. 背景 在Hadoop1.0.0或者CDH3 版本之前, hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的,值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用

jopen 2014-10-29   17181   0
1 2 3 4 5 6 7 8 9 10