Hadoop - Ambari集群管理剖析 经验

1.Overview Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台,可以快速帮助搭建Hadoop及相关以来组件的平台,管理集群方便。这篇博客记录Ambari的相关问题和

jopen 2015-12-25   256529   0

elasticsearch-hadoop使用示例 经验

在elasticsearch-hadoop的具体使用中碰到了几个问题,有必要记录一下,避免下次遇到时又要重新研究。 利用spark读取es数据源的简单示例 import org.elasticsearch

jopen 2016-01-07   22370   0

hadoop2.6.3 集群部署 经验

root@slave1:~# 安装hadoop 下载hadoop2.6.3,下载链接 http://hadoop.apache.org/releases.html 解压 tar -xvf hadoop-2.6.3.tar

StevenGrey 2016-01-27   21394   0
P23

  Hadoop 源代码分析(MapReduce概论) 文档

2009-02-21 Hadoop源代码分析(MapReduce概论) 大家都熟悉文件系统,在对HDFS进行分析前,我们并没有花很多的时间去介绍HDFS的背景,毕竟大家对文件系统的还是有一定的理解的,

gps2012 2013-01-14   247   0
P5

  hadoop集群配置范例 文档

HADOOP-0.20.2分布式集群配置 本文以安装和使用hadoop-0.20.2为例。 硬件环境 1. 虚拟机VMWare Workstation 6.5.2build 2. 三台机器均安装redhat

tony2007 2015-06-20   260   0

Hadoop平台集群搭建 经验

1. Linux配置hadoop环境 环境:Ubuntu10 linux、 jdk-7-linux-i586.tar.gz 1.1 将jdk上传到Ubuntu a. 在虚拟机中设置->选项->共享文件夹

jopen 2014-03-19   12260   0

hadoop 网站日志分析 经验

org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import

jopen 2014-03-26   19031   0

Hadoop开发使用备记 经验

使用Hadoop已经有一段时间了,从开始的迷茫,到各种的尝试,到现在组合应用….慢慢地涉及到数据处理的事情,已经离不开hadoop了。Hadoop在大数据领域的成功,更引发了它本身的加速发展。现在Ha

jopen 2014-05-20   52523   0

Hadoop安装配置(入门) 经验

概述: 本文主要记录Hadoop-0.20.2安装过程,包括安装过程中的关键问题的解决。这里将安装过程分为三步: 第一步,打通筋脉,也就是配置各个节点间的环境,如创建hadoop用户和用户组,配置节点间ssh无密码连接;

jopen 2013-07-30   22400   0

基于Hadoop的实时查询:Cloudera Impala 经验

e Dremel的模仿,但在SQL功能上青出于蓝胜于蓝。 Impala采用与Hive相 同的元数据、SQL语法、ODBC驱动程序和用户接口(Hue Beeswax),这样在使用CDH产品时,批处理

jopen 2012-10-24   35447   0

Hadoop作业调度管理系统 - Corona 经验

Corona,这是 Facebook 用来调度和管理大规模 Hadoop 作业的系统。 Corona 是 Map-Reduce 的改进版本,可以更好地利用集群资源,更适合 Facebook 的“多

jopen 2012-11-09   17046   0

Hadoop1.0.4集群安装 经验

Hadoop集群的安装 一 安装计划 虚拟机:VMware9.0 操作系统:CentOS5.8 HadoopHadoop1.0.4 网段为:192.168.201.1 三个节点分别为:

jopen 2013-04-15   13710   0

Hadoop 实现多文件输出 经验

要求按单词的首字母区分单词并分文件输出 代码如下: LineRecordWriter package com.hadoop.multi; import java.io.DataOutputStream; import

jopen 2013-07-11   25859   0

Hadoop集群 CentOS安装配置 经验

ER的PCIe设备的增强错误检查。CentOS 6.0包括高级数据完整性特性(DIF/DIX)。这类特性通过硬件检查和检验来自应用的数据。自动缺陷报告工具(ABRT)的引进提供了确定和报告系统 异常情况,包括内核故障和用户空间应用崩溃等。

jopen 2014-09-02   28066   0

Hadoop MapReduceV2(Yarn) 框架 经验

Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于

jopen 2014-09-11   22474   0

hadoop2.2.0安装笔记 经验

1.122  hadoop/hadoop VM  192.168.1.123 DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop

jopen 2014-08-27   11579   0

利用 Spring Boot 在 Docker 中运行 Hadoop 经验

过程。本文介绍了如何利用Spring Boot在Docker中运行Hadoop任务。 简介 越来越多的应用都开始使用Hadoop框架。而开发者在使用过程中也遇到一些挑战,比如使用诸如Docker之

jopen 2015-05-09   53777   0
Docker  
P4

  告诉你hadoop是什么 文档

【图解】告诉你Hadoop是什么         Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。

wyc08st 2016-04-30   602   0
P12

  Hadoop 0.20.0 源码流程分析 文档

Hadoop源码以及流程解析 整体结构 DN: Configuration,JobClient,JobConf Master:JobTracker,JobInProgress,TaskInProgress

sweetbaybe 2012-12-24   2501   0
P19

  hadoop2.1.0编译安装教程 文档

hadoop2.1.0编译安装教程 http://blog.csdn.net/linshao_andylin/article/details/12307747  由于现在hadoop2.0还处于be

nw37 2015-01-08   509   0
1 2 3 4 5 6 7 8 9 10