Hadoop集群数据处理API：Cascading 经验
Cascading 是一个架构在 Hadoop 上的API，用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用，而不用考虑背后的MapReduce。 Cascading目前依赖于
jopen Nutch+Hadoop集群搭建 经验
Server） 注：fetchers和searchers两个节点所对应的操作可放到分布式环境(hadoop)中去完成 创建索引及查询的操作可通过solr框架来实现 1.2、Nutch的数据结构:
fmms hadoop hive sql语法详解 经验
the map phase through the script /bin/cat (like hadoop streaming). Similarly - streaming can be used on
openkk 
Hadoopy: 使用Cython实现Python对Hadoop的封装 经验
Hadoopy是Hadoop Streaming的一个Python封装，采用Cython开发。它简单，快速，并且易于被修改。它已经在超过700个节点的集群中测试过了。Hadoopy的目标是： Similar
hadoop HDFS 的PHP扩展：phdfs 经验
phdfs是一个采用C语言的实现的PHP扩展，能够使用PHP来操作Hadoop HDFS文件系统。示例： port = "9000";
Hadoop 安全机制认证---Kerberos 经验
1. 背景 在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用
配置高可用的Hadoop平台 经验
概述 在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下： 创建hadoop用户 安装JDK
Hadoop RPC使用方法示例 经验
定义RPC协议 import java.io.IOException; import org.apache.hadoop.ipc.VersionedProtocol; /** * DateTime: 2014年12月28日 上午9:32:12
码头工人 搭建hadoop/spark集群环境 经验
hadoop和spark集群的搭建，主要用到了hadoop2.5.2、spark1.2.0、scala2.11.4 hadoop2.5.2的安装可以参照 http://blog.csdn.ne
述说我的Hadoop成长路线 经验
Hadoop启蒙 还在实验室时，老师就建议看google关于大数据的三篇论文，啃了好长时间还是没完全理解。也动手搭建了Hadoop集群，运行了wordcount，带着“Hadoop会火“的指示离开了实验室。
Hadoop 压缩实现分析 经验
Hadoop 作为一个较通用的海量数据处理平台，每次运算都会需要处理大量数据，我们会在 Hadoop 系统中对数据进行压缩处理来优化磁盘使用率，提高数据在磁盘和网络中的传输速度，从而提高系统处理数据的
hbnyb Hadoop平台架构 经验
来自： http://www.itweet.cn/2016/01/25/Hadoop-Disk-Planning/ 文章目录 1. 简介 2. 走向分布式 3. 存储规划 4. HDFS目录规划 4
10个Hadoop的应用场景 问答
谁在用 Hadoop 这是个问题。在大数据背景下，Apache Hadoop 已经逐渐成为一种标签性，业界对于这一开源分布式技术的了解也在不断加深。但谁才是 Hadoop 的最大用户呢？首先想到的当然是它的“发源地”
P23 Hadoop 任务调度器-董西成 文档
Hadoop任务调度器演讲人：董西成 技术博客：dongxicheng.org sina微博：西成懂 2. 提纲基础知识 Hadoop调度流程 Hadoop自带调度器介绍 编写自己的Hadoop调度器
P21 云计算架构 Hadoop 文档
1. 云计算架构Hadoop为商业打开数据之门 2. 1Hadoop是什么？开源软件工业标准硬件IT成本降低 3. 2 2004年，Google发表论文，向全世界介绍了MapReduce。 2005年
P230 Hadoop之HBase从入门到精通 文档
HBASE从入门到精通 一、 HBase技术介绍 HBase简介 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC
Hadoop HDFS文件操作的Java代码 经验
apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;
Hadoop批处理调度器 Azkaban 经验
Azkaban是个简单的批处理调度器，用来构建和运行Hadoop作业或其他脱机过程。 项目主页： http://www.open-open.com/lib/view/home/1339233539396
Hadoop五分钟入门指南 经验
原文见： http://blog.josedacruz.com/2013/12/09/hadoop-in-5-minutes-for-beginners/#.Uqhs3_Q6Cjt 如果你有大量的
Hadoop集群监控工具：HTools 经验
HTools是一款专业的Hadoop管 理工具，不管您是非专业IT人士，还是多年经验的技术人员，本工具都会为您提供优质的管理服务和轻松的操作过程， 释放无谓的工作压力，提高Hadoop的管理水平。我们以最