• 1. CDH4.1实战系列 讲师:Cloudy(北风网版权所有)四、CDH4.1 环境搭建二
  • 2. 技术基础Linux 中等 Java 最好有些基础,一般水平 关系数据库 sql
  • 3. Hadoop介绍核心组件: HDFS :分布式存储系统 Mapreduce :分布式计算模块 分布式:廉价小型机 通常一台几千元 8G 内存 5T磁盘 Namenode master 集群主机器 负责集群的统一管理和调度,作业分发和收集 JobTracker 作业分发和收集 Datanode slave机,主要接收namenode任务进行运算处理,输出结果给namenode TaskTracker 作业接收和输出 本地服务器 几百万一台 10T
  • 4. Cloudera 介绍Cloudera 公司主是一家提供 Hadoop 以及基于 Hadoop 软件的服务商. Cloudera 针对Hadoop的官方版本做了很多集成以及补丁修复工作. 并且一个发布下的所有基于 Hadoop 的软件之间的版本依赖已经经过了大量测试, 可以说是一个比较省心的版本. 同时简化了对其他组件的整合安装。是目前企业里用的最多的发行版本。 而且 Cloudera 针对不同的 Linux 发 行版进行了打包工作,比如: Ubuntu, Debian, Redhat, Fedora, SUSE 等
  • 5. CDH4 介绍Cloudera Hadoop 4 的简称,是在CDH3基础上升级而来,相比CDH3有很大的性能提高,同时修复了CDH3的很多细节问题。无论稳定性还是性能,都是之前版本无法相比的。 目前最主流的企业级应用版本。
  • 6. OS硬件要求
  • 7. OS硬件要求
  • 8. 关系数据库要求
  • 9. JDK版本 CDH4 要求 JDK 1.6. 推荐版本是1.6.0_31. 最小版本是1.6.0_8. 我们采用版本jdk-6u31-linux-amd64.rpm
  • 10. CDH4 安装步骤下载地址: http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/ 修改 /etc/hosts root用户,或普通用户无密码sudo权限 建本地下载repository 手工下载软件包,按照顺序安装 安装方式有2种: 方式1、全自动安装,先下载后安装 弊端是所需下载软件包又大又多,下载过程耗时,任何时候报错都全部回滚,所以该方式不可取。
  • 11. CDH4 安装步骤方式2:手工下载和安装所需软件包。 该方式出现报错不会回滚之前的安装。 需要:建本地repo文件。
  • 12. Yarn 是Mapreduce 2.0 一键安装方式: sudo yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm
  • 13. 软件包按照顺序用—nogpgcheck 忽略yum安装所依赖的包: sudo yum install ./cloudera-manager-agent-4.1.0-1.cm410.p0.361.x86_64.rpm --nogpgcheck sudo yum install ./cloudera-manager-daemons-4.1.0-1.cm410.p0.361.x86_64.rpm --nogpgcheck sudo yum install ./jdk-6u31-linux-amd64.rpm --nogpgcheck sudo yum install ./bigtop-tomcat-0.4+359-1.cdh4.1.2.p0.38.el6.noarch.rpm --nogpgcheck sudo yum install ./zookeeper-3.4.3+28-1.cdh4.1.2.p0.34.el6.noarch.rpm sudo yum install ./hadoop-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpm sudo yum install ./hadoop-hdfs-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpm sudo yum install ./hadoop-0.20-mapreduce-0.20.2+1265-1.cdh4.1.2.p0.24.el6.x86_64.rpm sudo yum install ./hadoop-httpfs-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpm sudo yum install ./hadoop-yarn-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpm sudo yum install ./hadoop-mapreduce-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpm sudo yum install ./hadoop-client-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpm
  • 14. 安装顺序sudo yum install ./hbase-0.92.1+160-1.cdh4.1.2.p0.24.el6.noarch.rpm sudo yum install ./hive-0.9.0+155-1.cdh4.1.2.p0.21.el6.noarch.rpm sudo yum install ./oozie-client-3.2.0+126-1.cdh4.1.2.p0.10.el6.noarch.rpm sudo yum install ./oozie-3.2.0+126-1.cdh4.1.2.p0.10.el6.noarch.rpm sudo yum install ./pig-0.10.0+58-1.cdh4.1.2.p0.24.el6.noarch.rpm sudo yum install ./hue-plugins-2.2.0+189-1.cdh4.2.0.p0.8.el6.x86_64.rpm sudo yum install ./hue-common-2.1.0+221-1.cdh4.1.2.p0.9.el6.x86_64.rpm sudo yum install ./flume-ng-1.2.0+122-1.cdh4.1.2.p0.7.el6.noarch.rpm sudo yum install ./sqoop-1.4.1+54-1.cdh4.1.2.p0.21.el6.noarch.rpm sudo yum install ./mahout-0.7+8-1.cdh4.1.2.p0.12.el6.noarch.rpm sudo yum install ./impala-0.1-1.p0.316.el6.x86_64.rpm
  • 15. Rpm -vx Ssh telnet + ftp
  • 16. 欢迎访问我们的官方网站 www.ibeifeng.com