hadoop 网站日志分析 经验
org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import
jopen Hadoop开发使用备记 经验
使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Ha
Hadoop安装配置（入门） 经验
概述： 本文主要记录Hadoop-0.20.2安装过程，包括安装过程中的关键问题的解决。这里将安装过程分为三步： 第一步，打通筋脉，也就是配置各个节点间的环境，如创建hadoop用户和用户组，配置节点间ssh无密码连接；
基于Hadoop的实时查询：Cloudera Impala 经验
Cloudera 发布实时查询开源项目 Impala (黑斑羚)！多款产品实测表明，比原来基于MapReduce的Hive SQL查询速度提升3～90倍。Impala是Google Dremel的模仿，但在SQL功能上青出于蓝胜于蓝。
Hadoop作业调度管理系统 - Corona 经验
Corona，这是 Facebook 用来调度和管理大规模 Hadoop 作业的系统。 Corona 是 Map-Reduce 的改进版本，可以更好地利用集群资源，更适合 Facebook 的“多租户（Multi-Tenant）”环境。
Hadoop 实现多文件输出 经验
要求按单词的首字母区分单词并分文件输出 代码如下： LineRecordWriter package com.hadoop.multi; import java.io.DataOutputStream; import
hadoop分布式部署 经验
配置如下: hadoop1.example.com:192.168.2.1(NameNode) hadoop2.example.com:192.168.2.2(DataNode) hadoop3.example
Hadoop MapReduceV2(Yarn) 框架 经验
Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于
hadoop2.2.0安装笔记 经验
1.122 hadoop/hadoop VM 192.168.1.123 DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop
利用 Spring Boot 在 Docker 中运行 Hadoop 经验
简化新Spring应用的初始搭建以及开发过程。本文介绍了如何利用Spring Boot在Docker中运行Hadoop任务。 简介 越来越多的应用都开始使用Hadoop框架。而开发者在使用过程中也
P4 告诉你hadoop是什么 文档
【图解】告诉你Hadoop是什么 Hadoop是一种分析和处理大数据的软件平台，是Appach的一个用Java语言所实现的开源软件的加框，在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。
wyc08st
P12 Hadoop 0.20.0 源码流程分析 文档
Hadoop源码以及流程解析 整体结构 DN: Configuration,JobClient,JobConf Master:JobTracker,JobInProgress,TaskInProgress
P19 hadoop2.1.0编译安装教程 文档
hadoop2.1.0编译安装教程 http://blog.csdn.net/linshao_andylin/article/details/12307747 由于现在hadoop2.0还处于be
P11 Hadoop 源码阅读总结 文档
涉及参数 ipc.server.handler.queue.size callQuene队列大小,随集群增大而增大, ipc.server.max.response.size 如果返回的结果序列化后大小大于这个值
P27 Hadoop HDFS 实现原理与应用介绍 文档
百度系统部HDFS实现原理与应用介绍lixiangna@baidu.com 2. 主要内容应用背景 Hadoop简介 HDFS设计目标 HDFS系统结构 HDFS实现原理 典型实例 3. 应用背景需求 每天上TB的日志需要存储备份
P31 内存计算Spark和 SQL on Hadoop 文档
1. 内存计算Spark和 SQL on Hadoop 黄永卿 解决方案中心 2. 目录1内存计算Spark介绍2Spark核心要点3SQL on Hadoop技术比较43+1大数据分析方案介绍 3.
Apache Curator 2.8.0 发布，简化 zookeeper 客户端 资讯
zookeeper 的客户端调用过于复杂，Apache Curator 就是为了简化zookeeper客户端调用而生，利用它，可以更好的使用zookeeper。 Apache Curator 2
P15 分布式服务框架 Zookeeper - 管理分布式环境中的数据 文档
本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常
浅谈分布式服务协调技术 Zookeeper 经验
影响了很多很多系统。这三篇论文一直是分布式领域传阅的经典。根据MapReduce，于是我们有了Hadoop；根据GFS，于是我们有了HDFS；根据BigTable，于是我们有了HBase。而在这三篇论文里都提及Google的一个Lock