Hadoop 集群搭建文档


Hadoop 集群搭建文档 环境: Win7 系统装虚拟机 虚拟机 VMware-workstation-full-9.0.0-812388.exe Linux 系统 Ubuntu12.0.4 JDK jdk-7u17-linux-i586.tar.gz 搭建步骤: 1. 首先在 win 系统装虚拟机,执行 VMware-workstation-full-9.0.0-812388.exe; 2. 其次需要在虚拟机上装 Ubuntu12.0.4; 3. 安装完成 Ubuntu12.0.4 之后,需要安装 JDK,(注意:安装 JDK 需要处理一些其他问 题,JDK 必须是 Linux 版本的,还有就是 JDK 要和操作系统的位数相符合,比如 32 位、 64 位都有对应的安装包): JDk 的安装路径,我直接解压到/opt/jdk 这个目录下; 4. 安装完 JDK 需要配置环境变量,具体如下截图所示: 需要修改两个地方 environment 和 profile 文件; 5. 由于 Ubuntu 中一般安装有默认的 JDK,如 openjdk,所以,为了使默认使用的是我 们安装的 jdk,还要进行如下工作。 sudo update-alternatives --install /usr/bin/java java /opt/jdk/jdk1.7.0_17/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac/opt/jdk/jdk1.7.0_17/bin/javac 300 6. 在终端输入 java –version / javac 测试安装 JDK 是否成功; 7. 每当 Ubuntu 安装成功时,我们的机器名都默认为:Ubuntu,但为了以后集群中能够 容易分辨各台服务器,需要给每台机器取个不同的名字。机器名由 /etc/hostname 文件决定。 输入此命令,在打开的文件中修改机器名,我的机器名是 Master; 8. 安装 SSH 服务,实现无密码登陆;sudo apt-get install ssh openssh-server 安 装完成 SSH 后,可以查看 SSH 是否启动等; 9. 安装 SSH 服务完成后就需要配置无密码登录,具体如下图所示: 进入安装目录: 刚开始可能没有 authorized_keys 和 known_hosts 文件,需要执行该命令; 将产生的公钥加入到该文件中,可以打开看 id_rsa.pub 文件: 有关 ssh 公钥与密钥的具体问题可以百度;执行如下命令将 authorized_keys 文件分发 给其他节点; 注意每个节点都需要生成公钥,然后将三个节点的公钥合并在一个文件中,三个节 点的 authorized_keys 必须一致。如下图所示: 注意文件的权限修改有可能导致 ssh 无密码登录配置失效,此处修改文件需要慎重; 配置完成后就可实现无密码登陆;如下图所示: 10. 安装 hadoop,安装包拷贝到安装目录下;如下图所示: 将安装包解压到该目录;执行如下命令: 11. 安装完成后,需要配置 hadoop,具体操作如下所示:需要修改的文件都在 /opt/hadoop/hadoop-0.20.2/conf/目录下: 12. 修改 hadoop-env.sh 文件: 加入 JDK 的路径; 13. 修改 core-site.xml: 14. 修改 hdfs-site.xml: 15. 修改 mapred-site.xml: 16. 配置 masters 文件: 节点机上需要配置 Slaves 文件,与该文件类似; 17. 此时已完成 hadoop 配置; 18. 在虚拟机的 Manager-Clone 中克隆新的节点,也可以不克隆,自己安装,安装完成 需要将 Master 中的 JDK、hadoop 的文件拷贝过去。 19. 我采用的是分布式;一个电脑安装了一个虚拟机做为 Master,另外一个电脑安装了 虚拟机,在虚拟机上安装的两个 Ubuntu,即该机器模拟了两个节点,此实验需要三 个节点。 Master 10.18.12.47 Slave1 10.18.12.48 Slave2 10.18.12.254 20. 虚拟机之间需要能 ping 通; 此结果代表可以 ping 通; 21. 做完所有的准备工作现在就可以启动 hadoop 集群,执行命令如下: 启动: 22. 查看集群是否启动; 23. 也可以用该命令查看: 24. 通过 jsp 页面查看:http://10.18.12.47:50030/jobtracker.jsp http://10.18.12.47:50070/dfshealth.jsp 25. 至此关于集群搭建结束,
还剩8页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 10 金币 [ 分享pdf获得金币 ] 1 人已下载

下载pdf

pdf贡献者

pcndxx

贡献于2013-10-26

下载需要 10 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf