hadoop再次集群搭建（4）-Cloudera Manager Installation

jopen 8年前

   决定选择 Cloudera Manager  进行安装，阅读官方文档，掌握大概脉络。

        Cloudera Manager在集群已经实现ssh免秘钥登录，能够访问网络资源和本地资源的情况下，可以自动安装和配置CDH(Cloudera  distributed hadoop),以及管理在这个集群上面的服务。
       Cloudera Manager安装软件包括：
  •  A small self-executing Cloudera Manager installation program to install the Cloudera Manager Server and other packages in preparation for host installation.
  • Cloudera Manager wizard for automating CDH and managed service installation and configuration on the cluster hosts. Cloudera Manager provides two methods for installing CDH and managed services: traditional packages (RPMs or Debian packages) or parcels. Parcels simplify the installation process, and more importantly allows you to download, distribute, and activate new minor versions of CDH and managed services from within Cloudera Manager.

他的主要功能是：

  1. Automated deployment and configuration. 
  2. Customizable Monitoring and reporting.
  3. Effortless, robust troubleshooting. 
  4. Zero downtime maintenance. 

在安装之前，我们需要执行两个操作，很重要。关闭防火墙是防止出现访问被拒绝， SElinux也是如此。集群之间的通信很重要，确保不会因为任何限制而导致通信失败。

关闭防火墙
在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常

1.    service iptables status 查看防火墙状态
2.    使用如下命令关闭iptables，执行该命令后重启机器生效
chkconfig iptables off
关闭之后：
</div>

关闭SElinux
1.    使用getenforce命令查看是否关闭
2.    修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效
</div> </div> SELinux (Security-Enhanced Linux)  是 美国国家安全局（NSA）对于强制访问控制的实现， 是 Linux历史上最杰出的新安全子系统。 NSA 是 在Linux社区的帮助下开发了一种访问控制体系，在这种访问控制体系的限制下，进程只能访问那些在他的任务中所需要文件。  SELinux  默认安装在Fedora 和Red Hat Enterprise Linux 上，也可以作为其他发行版上容易安装的包得到。  SELinux 是 2.6 版本的Linux 内核中提供的强制访问控制(MAC）系统。

</div> </div>
在 Cloudera Manager 部署官方解答中，有三种部署方式，这里我选择第一种，自动安装。

安装路径 A — 通过 Cloudera Manager 自动安装  - Cloudera Manager 自动安装 Oracle JDK、Cloudera Manager Server、嵌入式 PostgreSQL 数据库、Cloudera Manager Agent、CDH、管理服务软件至群集主机，并为 Cloudera Manager Server 和 Hive Metastore 以及 Cloudera Management Service 角色（可选）配置数据库。建议概念部署演示和证明使用路径，但不建议产品部署使用，因为它不能扩展，随着群集的增长可能需要进行数据库迁移。要使用此方法，服务器和群集主机必须满足以下要求：
  • 可使用根帐户或具有无密码权限的账户登录 Cloudera Manager Server 主机。
  • 允许 Cloudera Manager Server 主机在同一端口具有统一的 SSH 访问，可访问所有主机。更多信息，请参阅 网络和安全要求。
  • 所有主机必须具有访问标准软件包存储库以及 archive.cloudera.com 或包含必要安装文件的本地存储库的权限。

对于以上三点要求，我的集群是满足的，之前配置了hadoop用户之间的免秘钥登录，所有主机都可以访问网络。

Pre-requisites: multiple, Internet-connected Linux machines, with SSH access, and significant free space in /var and /opt. 确认之后 三部到位

$ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
$ chmod u+x cloudera-manager-installer.bin
$ sudo ./cloudera-manager-installer.bin

最后一步的时候，报错，hadoop不在superdoers中。进行配置即可。
 vi /etc/sudoers
</div>

增加 hadoop ALL=（ALL） ALL
这一步是赋予用户hadoop所有root的权限。
执行第三步：

接下来一些列对话框，跳过即可，接着就是安装jdk

解决：我删除了 /etc/yum.repos.d/下面的几个repo文件：

-rw-r--r--  1 root root  195 Oct 19 14:54 cloudera-manager.repo
-rw-r--r--  1 root root  195 Oct 19 14:54 cloudera-manager.repo.rpmnew
-rw-r--r--  1 root root  290 Dec 10 02:21 cloudera-manager.repo.rpmsave
</div>

然后重新安装就回复正常了，可能是之前我独自下载了一个repo文件的问题。

然后怎么知道正在安装呢？我想的是安装流量监控软件看网络是否有下载网速。

iptraf软件是一个监控网络的好工具，安装在这里不在介绍，点击这个链接查看详细步骤。

我得到了我的机器的下载jdk的网速：

可见网速十分缓慢。可能是办公室网络比较慢，用的源是越南的，而我所在地没有源，所以速度也就只能这样了。

到这里想起月凤先生讲过的一些道理。顺势而为，顺其自然是最好的方式，网速既然只有这样，那就这样最好。请耐心等待变盘的时刻。


耐心等待下终于安装好了，接下来安装server,中间等待的时间可能有10多分钟，一定要有耐心，不然中途退出就不好了。这个安装界面因为进度条显示不是实时的，总怀疑是不是出了什么问题，所以在这之前安装一个网络监控软件是一个很不错的选择，对于我这种需要安全感的人而言，看到网络tcp保持连接有网速，就觉得安心，也就不会怀疑停在这个界面是不是出了什么问题。

当然，另外一个好的选择就是 tail -f /var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log 查看日志，不过也不是实时的貌似。

                                         +------------------ Installing ------------------+
                                         | .           Cloudera Manager Server          . |
                                         |                      40%                       |
                                         |            cloudera-manager-server             |
                                         |                                                |
                                         +------------------------------------------------+

</div>

这个时候的网速还是很快的：

可能因为cdh太大，还是要等待很长时间才会完成。粗略计算：jdk130MB+server  Total download size: 481 M 一共需下载600MB，需要二十分钟到三十分钟。



完成安装之后：
+--------------------------------------------------------- Next step ----------------------------------------------------------+  
  | Point your web browser to  http://node1.com:7180/. Log in to Cloudera Manager with username: 'admin' and password: 'admin' to |  
  | continue installation. (Note that the hostname may be incorrect. If the url does not work, try the hostname you use when     |  
  | remotely connecting to this machine.) If you have trouble connecting, make sure you have disabled firewalls, like iptables.  |  
  |------------------------------------------------------------------------------------------------------------------------------|  
  |                                                            < OK >                                                            |  
  +------------------------------------------------------------------------------------------------------------------------------+  

</div>
看到node1.com,我们需要在其他机器上打开这个链接，因此在本地计算机配置hosts文件加入：

192.168.122.128    node1.com
192.168.122.129    node2.com
192.168.122.130    node3.com
</div>


打开链接，显示登录框，表示我们安装成功：

接下来进行CDH的安装了。


</div>
Charles 于2015-12-17 Phnom Penh


版权说明：
本文由Charles Dong原创，本人支持开源以及免费有益的传播，反对商业化谋利。
CSDN博客：http://blog.csdn.net/mrcharles
</div>
个人站：http://blog.xingbod.cn
EMAIL：charles@xingbod.cn
</div> </div> </div>

来自： http://blog.csdn.net//mrcharles/article/details/50344913

相关经验