亿= 420G， （3） 日志种类：5 种北京传智播客教育 www.itcast.cn 4. Hadoop能解决哪些问题海量数据需要及时分析和处理。 海量数据需要深入分析和挖掘。 数据需要长期保存 问题：

not, Hadoop.apache.org or Yahoo Developer Network are very good sources for learning about Hadoop and

二、简要介绍HBaseJava API 1，  HbaseConfiguration 关系：org.apache.hadoop.hbase.HBaseConfiguration 作用：通过此类可以对HBase进行配置

送到哪个reduce中。用户编写自定义的Partitioner类，需实现org.apache.hadoop.mapred.Partitioner接口，并实现configure(JobConf conf)和getPartition(K

强制spout从最早的offset重启。 Hadoop集成Kafka 资源共享、稳定性、可用性、可伸缩性是分布式计算的挑战。现如今有多了一个：TB或PB级数据的处理。 Hadoop简介 Hadoop是个大规模分布式批处理框架，通过很多节点并行处理数据。

英文原版下载地址（http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html） HDFS用户指南 HDFS用户指南 (HDFS Users

英文原版下载地址（http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html） HDFS用户指南 HDFS用户指南 (HDFS Users

英文原版下载地址（http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html） HDFS用户指南 HDFS用户指南 (HDFS Users

英文原版下载地址（http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html） HDFS用户指南 HDFS用户指南 (HDFS Users

英文原版下载地址（http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html） HDFS用户指南 HDFS用户指南 (HDFS Users

英文原版下载地址（http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html） HDFS用户指南 HDFS用户指南 (HDFS Users

英文原版下载地址（http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html） HDFS用户指南 HDFS用户指南 (HDFS Users

List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration;

1、搭建环境 新建JAVA项目，添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90

HDFS是一种文件系统，存储着Hadoop应用将要处理的数据，类似于普通的Unix和linux文件系统，不同的是他是实现了google的GFS文件系统的思想，是适用于大规模分布式数据处理相关应用的、可扩展的分布式文件系统。它有以下优点：

一、查看需求 安装java 1.6及hadoop 0.20.x 二、安装hive tar -xf hive-x.y.z.tar.gz（本次安装为hive-0.8.1.tar.gz） 将解压后的hive-0

11.0hive #移动到指定的目录下 $>mvhive /opt/ 这个教程的软件版本信息： Hadoop-2.2.0 集群 HBase-0.94.14 集群 Zookeeper-3.4.5 集群 Hive-0

jason.hadoop.example; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration;

1、下载zookeeper-3.3.1， 地址：http://www.apache.org/dist/hadoop/zookeeper/zookeeper-3.3.1/ 2、JDK版本：jdk-6u20-linux-i586

key: ”index.html” value: “1.0 1.html,…,n.html” 说明：Hadoop把Map函数输出的key合并，相同key的value合并成一个集合作为reduce的value。输出key网页的PR值（初值为1