HDFS HA和Federation安装部署方法 v0.1


HDFS HA 和 Federation 安装 部署方法 d ongxicheng.org Dong 介绍 Hadoop 2.0 中 HDFS HA 和 Federtion 的安装 配置方法 版本号:v0.1 下载该文档最新版本(每隔一段时间发布新版 本)、学习 hadoop 2.0 安装部署、技术内幕、应用 案例等,加入微信号:hadoop-123,二维码如下: 1. HDFS 2.0 基本概念 ......................................................................................................... 2 2. HDFS HA 配置部署 ......................................................................................................... 2 2.1 HDFS HA 架构 ..................................................................................................... 2 2.2 硬件选择及软件准备 ........................................................................................... 3 2.3 修改配置文件 ....................................................................................................... 3 2.4 启动服务 ............................................................................................................... 7 2.5 配置自动切换模式 ............................................................................................... 8 3. HDFS Federation 配置部署 ........................................................................................... 10 4. HDFS 1.0 升级到 2.0 ..................................................................................................... 11 5. 升级过程中遇到问题 ..................................................................................................... 11 1. HDFS 2.0 基本概念 相比于 Hadoop 1.0,Hadoop 2.0 中的 HDFS 增加了两个重大特性,HA 和 Federaion。HA 即为 High Availability,用于解决 NameNode 单点故障问题,该特性通过热备的方式为主 NameNode 提供一个备用者,一旦主 NameNode 出现故障,可以迅速切换至备 NameNode, 从而实现不间断对外提供服务。Federation 即为“联邦”,该特性允许一个 HDFS 集群中存在 多个 NameNode 同时对外提供服务,这些 NameNode 分管一部分目录(水平切分),彼此之 间相互隔离,但共享底层的 DataNode 存储资源。 本文档重点介绍 HDFS HA 和 Federation 的安装部署方法。 2. HDFS HA 配置部署 2.1 HDFS HA 架构 在一个典型的 HDFS HA 场景中,通常由两个 NameNode 组成,一个处于 active 状态, 另一个处于 standby 状态。Active NameNode 对外提供服务,比如处理来自客户端的 RPC 请 求,而 Standby NameNode 则不对外提供服务,仅同步 active namenode 的状态,以便能够在 它失败时快速进行切换。 为了能够实时同步 Active 和 Standby 两个 NameNode 的元数据信息(实际上 editlog), 需提供一个共享存储系统,可以是 NFS、QJM(Quorum Journal Manager)或者 Bookeeper, Active Namenode 将数据写入共享存储系统,而 Standby 监听该系统,一旦发现有新数据写 入,则读取这些数据,并加载到自己内存中,以保证自己内存状态与 Active NameNode 保持 基本一致,如此这般,在紧急情况下 standby 便可快速切为 active namenode。 注意,在 Hadoop 2.0 中,不再需要 secondary namenode 或者 backup namenode,它们的 工作由 Standby namenode 承担。 本文将重点介绍基于 QJM 的 HA 解决方案。在该方案中,主备 NameNode 之间通过一 组 JournalNode 同步元数据信息,一条数据只要成功写入多数 JournalNode 即认为写入成功。 通常配置奇数个(2N+1)个 JournalNode,这样,只要 N+1 个写入成功就认为数据写入成功, 此时最多容忍 N-1 个 JournalNode 挂掉,比如 3 个 JournalNode 时,最多允许 1 个 JournalNode 挂掉,5 个 JournalNode 时,最多允许 2 个 JournalNode 挂掉。基于 QJM 的 HDFS 架构如下 所示: 2.2 硬件选择及软件准备 (1) 硬件选择  NameNode 机器:推荐主备 NameNode 具有相同的硬件配置,且内存要足够大。  JournalNode:通常准备 3 或 5 个 JournalNode,考虑到 JournalNode 非常轻量级,可 以与 Hadoop 其他服务共用机器,比如 ResourceManager,TaskTracker 等。  Zookeeper:由于 Hadoop 多个服务用到了 Zookeeper,可搭建一个 3 或者 5 个节点 的 Zookeeper 实例作为公共服务。Zookeeper 实例也可以与其他服务共用机器。 (2) 软件准备  Apache Hadoop 2.2.0 或者更高版本,或 cdh4 以及更高版本  JDK 1.6 或者更高版本,注意,cdh5 需要 jdk 7 2.3 修改配置文件 HDFS 相关的配置文件是${HADOOP_HOME}/etc/hadoop/下的 hdfs-site.xml,为了便于管 理,通常让 HDFS 上各个节点上的 hdfs-site.xml 一致。 配置 HDFS HA,需对一下参数设置: (1) dfs.nameservices HDFS 命名服务的逻辑名称,可用户自己定义,比如 mycluster,注意,该名称将被基 于 HDFS 的系统使用,比如 Hbase 等,此外,需要你想启用 HDFS Federation,可以通过该 参数指定多个逻辑名称,并用“,”分割。 dfs.nameservices mycluster Logical name for this new nameservice (2) dfs.ha.namenodes.[$nameservice ID]: 某个命名服务下包含的 NameNode 列表,可为每个 NameNode 指定一个自定义的 ID 名 称,比如命名服务 mycluster 下有两个 NameNode,分别命名为 nn1 和 nn2,则配置如下: dfs.ha.namenodes.mycluster nn1,nn2 Unique identifiers for each NameNode in the nameservice 注意,目前每个命名服务最多配置两个 NameNode (3) dfs.namenode.rpc-address.[$nameservice ID].[$name node ID] 为每个 NameNode 设置 RPC 地址,以前面的实例为例,可进行如下配置: dfs.namenode.rpc-address.mycluster.nn1 machine1.example.com:8020 dfs.namenode.rpc-address.mycluster.nn2 machine2.example.com:8020 (4) dfs.namenode.http-address.[$nameservice ID].[$name node ID] 为每个 NameNode 设置对外的 HTTP 地址,以前面的实例为例,可进行如下配置: dfs.namenode.http-address.mycluster.nn1 machine1.example.com:50070 dfs.namenode.http-address.mycluster.nn2 machine2.example.com:50070 (5) dfs.namenode.shared.edits.dir 设置一组 journalNode 的 URI 地址,active NameNode 将 edit log 写入这些 JournalNode,而 standby NameNode 读取这些 edit log,并作用在内存中的目录树中,该属性 值应符合以下格式: qjournal://host1:port1;host2:port2;host3:port3/journalId 其中,journalId 是该命名空间的唯一 ID。假设你有三台 journalNode,即 node1.example.com, node2.example.com 和 node3.example.com,则可进行如下配置: dfs.namenode.shared.edits.dir qjournal://node1.example.com:8485;node2.example.com:8485; node3.example.com:8485/mycluster 注意,JournalNode 默认端口号为 8485 (6) dfs.client.failover.proxy.provider.[$nameservice ID] 设置客户端与 active NameNode 进行交互的 Java 实现类,DFS 客户端通过该类寻找当前的 active NameNode。该类可由用户自己实现,默认实现为 ConfiguredFailoverProxyProvider。 dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha. ConfiguredFailoverProxyProvider (7) dfs.ha.fencing.methods 主备架构解决单点故障问题时,必须要认真解决的是脑裂问题,即出现两个 master 同 时对外提供服务,导致系统处于不一致状态,可能导致数据丢失等潜在问题。在 HDFS HA 中,JournalNode 只允许一个 NameNode 写数据,不会出现两个 active NameNode 的问题, 但是,当主备切换时,之前的 active NameNode 可能仍在处理客户端的 RPC 请求,为此, 需要增加隔离机制(fencing)将之前的 active NameNode 杀死。 HDFS 允许用户配置多个隔离机制,当发生主备切换时,将顺次执行这些隔离机制,直 到一个返回成功。Hadoop 2.0 内部打包了两种类型的隔离机制,分别是 shell 和 sshfence。 1) sshfence sshfence通过 ssh 登录到前一个 active NameNode 并将其杀死。为了让该机制成功执行, 需配置免密码 ssh 登陆,这可通过参数 dfs.ha.fencing.ssh.private-key-files 设置一个私钥文件。 dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /home/exampleuser/.ssh/id_rsa 你可以配置一个 ssh 用户和端口号,并设置一个超时时间,一旦 ssh 超过该时间,则认为执 行失败。 dfs.ha.fencing.methods sshfence([[username][:port]]) dfs.ha.fencing.ssh.connect-timeout 30000 2) shell 执行任意一个 shell 命令隔离旧的 active NameNode,配置方法如下: dfs.ha.fencing.methods shell(/path/to/my/script.sh arg1 arg2 ...) 注意,Hadoop 中所有参数将以环境变量的形似提供给该 shell,但所有的“.”被替换成了“_”, 比如“dfs.namenode.rpc-address.ns1.nn1”变为“dfs_namenode_rpc-address” (8) fs.defaultFS 设置缺省的目录前缀,需在 core-site.xml 中设置,比如命名服务的 ID 为 mycluster(参 数 dfs.nameservices 指定的),则配置如下: fs.defaultFS hdfs://mycluster (9) dfs.journalnode.edits.dir JournalNode 所在节点上的一个目录,用于存放 editlog 和其他状态信息。该参数只能设 置一个目录,你可以对磁盘做 RIAD 提高数据可靠性。 dfs.journalnode.edits.dir /path/to/journal/node/local/data 2.4 启动服务 假设 NN1 和 NN2 两个节点是主备 NameNode,则 HDFS 集群启动顺序如下: (1) 启动所有 JournalNode (2) 启动 NN1 和 NN2 (3) 启动所有 DataNode 步骤 1:启动所有 JournalNode 在所有 JournalNode 节点上,进入 Hadoop 安装目录下,运行以下命令启动 JournalNode: sbin/hdfs-daemon.sh start journalnode 步骤 2:初始化 JournalNode 在 NN1 上,执行以下命令: hdfs namenode -initializeSharedEdits [-force | -nonInteractive] 该命令将格式化各个 JournalNode,默认情况下是交互式执行的,要求用户输入“Y/N”进行确 认,可以使用参数-force 或者 –nonInteractive 跳过交互式过程,直接强制格式化。 步骤 3:启动 NN1 和 NN2 (1) 启动 NN1 bin/hadoop namenode –format 启动 NN1: hadoop-daemon.sh start namenode (2)启动 NN2 让 NN2 从 NN1 上拉取最新的 FSimage: bin/hdfs namenode -bootstrapStandby [-force | -nonInteractive] 启动 NN2: sbin/hadoop-daemon.sh start namenode 步骤 4:启动所有 DataNode 在各个 DataNode 节点上执行以下命令: sbin/hadoop-daemon.sh start datanode 或者,直接在 NN1 上执行一条命令: sbin/hadoop-daemons.sh start datanode 在 Web 界面上查看是否启动成功,如果界面显示如下(standby namenode 的界面),则启动 成功: 步骤 5:将 NN1 状态切换为 Active (1) 人工切换 NN1 和 NN2 启动后,都处于 Standby 状态,此时均不能对外提供服务,在 NN1 节点上输入 以下命令将它切换为 active: hdfs haadmin -failover --forcefence --forceactive 其中,serviceId 为“dfs.nameservices”配置的命名服务,namenodeId 为 namenode ID,在此, 可以是 NN1 hdfs haadmin -failover --forcefence --forceactive mycluster NN1 (2) 自动切换 当 active namenode 发生故障时,人工切换模式不能自动完成主备切换,因此推荐使用 自动切换,这是基于 zookeeper 实现的,具体配置可参考下一节。 2.5 配置自动切换模式 HDFS NameNode 自动切换由以下两个组件构成:  Zookeeper 实例(3 个或 5 个或 7 个节点)  ZKFailoverController(简称“ZKFC”) ZKFC 是一个 Zookeeper 客户端,负责监控和管理 NameNode 的状态,每台运行 NameNode 的机器上也会运行一个 ZKFC 进程。  健康状况监控:ZKFC 周期性地与本地的NameNode交互,执行一些健康状况监测命令。  Zookeeper session管理:如果本地NameNode是健康的,则会持有Zookeeper上一个 znode, 如果它是 active 的,会持有 zookeeper 的仅有的一个特殊 znode,该 znode 类型为 ephemeral, 一旦 namenode 挂掉后,会自动消失。  基于 zookeeper 的选举:如果本地 NameNode 是活的,而没有其他 namenode 持有特殊的 znode, ZKFC 将尝试获取这个 znode,一旦获取成功后,则认为它“赢得了选举”,进而隔离之前的 active namenode,自己转换为新的 active namenode。 具体步骤如下: 注:以下操作在集群关闭情况下进行 步骤 1:修改配置文件 (1) 开启自动切换模式 在 hdfs-site.xml 增加以下配置: dfs.ha.automatic-failover.enabled true (2) 配置 zookeeper 实例地址 在 core-site.xml 中,增加以下配置: ha.zookeeper.quorum zk1.example.com:2181,zk2.example.com:2181, zk3.example.com:2181
还剩11页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 6 金币 [ 分享pdf获得金币 ] 2 人已下载

下载pdf

pdf贡献者

bnw88

贡献于2015-12-31

下载需要 6 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf