• 1. Hadoop 电子工业出版社 刘鹏主编《云计算》教材配套课件8
  • 2. 主要内容Hadoop项目简介 HDFS体系结构 HDFS关键运行机制 Hadoop VS.Google(分布式文件系统) Hadoop API Hadoop环境搭建
  • 3. Hadoop项目简介Apache的解决方案Google云计算MapReduceBigTableGFSChubbyGFS-->HDFS MapReduce-->Hadoop BigTable-->HBase
  • 4. Hadoop项目简介HDFS为了做到可靠性(reliability)创建了多份数据块(data blocks)的复制(replicas),并将它们放置在服务器群的计算节点中(compute nodes),MapReduce就可以在它们所在的节点上处理这些数据了。
  • 5. HDFS体系结构 NameNodeMaster DataNodeChunksever
  • 6. HDFS关键运行机制 --保障可靠性的措施一个名字节点和多个数据节点 数据复制(冗余机制) --存放的位置(机架感知策略) 故障检测 --数据节点 心跳包(检测是否宕机) 块报告(安全模式下检测) 数据完整性检测(校验和比较) --名字节点(日志文件,镜像文件) 空间回收机制
  • 7. HDFS关键运行机制 --写文件流程客户端缓存 流水线复制 并发写控制 流程: 1.客户端把数据缓存到本地临时文件夹 2.临时文件夹数据超过64M,客户端联系NameNode, NameNode分配DataNode,DataNode依照客户端的位置被排列成一个有着最近物理距离和最小的序列 3.与序列的第一个数据服务器建立Socket连接,发送请求头,然后等待回应,依次下传,客户端得到回包,流水线建立成功, 4. 正式发送数据,以4K为大小传送
  • 8. HDFS关键运行机制 --读文件流程客户端联系NameNode,得到所有数据块信息,以及数据块对应的所有数据服务器的位置信息 尝试从某个数据块对应的一组数据服务器中选出一个,进行连接(选取算法未加入相对位置的考虑) 数据被一个包一个包发送回客户端,等到整个数据块的数据都被读取完了,就会断开此链接,尝试连接下一个数据块对应的数据服务器,整个流程,依次如此反复,直到所有想读的都读取完了为止
  • 9. Hadoop VS. Google技术架构的比较 数据结构化管理组件:Hbase→BigTable 并行计算模型:MapReduce→MapReduce 分布式文件系统:HDFS→GFS Hadoop缺少分布式锁服务ChubbyHBaseMapReduceHDFSBigTableMapReduceGFSHadoop云计算应用ChubbyGoogle云计算应用
  • 10. Hadoop VS. GoogleHDFS与GFS比较 中心服务器模式的差异 GFS:多台物理服务器,选择一台对外服务,损坏时可选择另外一台提供服务 HDFS:单一中心服务器模式,存在单点故障 原因:Hadoop缺少分布式锁服务
  • 11. Hadoop VS. GoogleHDFS与GFS比较 子服务器管理模式差异 GFS:Chunk Server在Chubby中获取独占锁表示其生存状态,Master通过轮询这些独占锁获知Chunk Server的生存状态 HDFS:DataNode通过心跳的方式告知NameNode其生存状态 GFS中,Master损坏时,替补服务器可以快速获知Chunk Server的状态 HDFS中,NameNode损坏后,NameNode恢复时需要花费一段时间获知DataNode的状态 在添加数据存储节点时,GFS的伸缩性较HDFS要好 原因:Hadoop缺乏分布式锁服务
  • 12. Hadoop VS. GoogleHDFS与GFS比较 HDFS具备安全模式 获知数据块副本状态,若副本不足,则拷贝副本至安全数目(如3个) GFS不具备安全模式 副本损坏处理:API读取副本失败时,Master负责发起拷贝任务
  • 13. Hadoop VS. GoogleHDFS与GFS比较 HDFS具备空间回收机制 文件删除时,仅删除目录结构 实际数据的删除在等待一段时间后实施 优点:便于恢复文件
  • 14. HDFS APIHadoop API被分成(divide into)如下几种主要的包(package):  org.apache.hadoop.conf   定义了系统参数的配置文件处理API。  org.apache.hadoop.fs    定义了抽象的文件系统API。  org.apache.hadoop.Hdfs   HDFS,Hadoop的分布式文件系统实现。  org.apache.hadoop.io  定义了通用的I/O API,用于针对网络,数据库,文件等数据对象做读写操作。 org.apache.hadoop.ipc   用于网络服务端和客户端的工具,封装了网络异步I/O的基础模块。  org.apache.hadoop.mapreduce   Hadoop分布式计算系统(MapReduce)模块的实现,包括任务的分发调度等。  org.apache.hadoop.metrics  定义了用于性能统计信息的API,主要用于mapred和dfs模块。  org.apache.hadoop.record 定义了针对记录的I/O API类以及一个记录描述语言翻译器,用于简 化将记录序列化成语言中性的格式(language-neutral manner)。  org.apache.hadoop.tools  定义了一些命令行的工具。  org.apache.hadoop.util   定义了一些公用的API。 org.apache.hadoop.Secruity 用户和用户组信息
  • 15. HDFS API --org.apache.hadoop.fs  ◦org.apache.hadoop.fs.FileSystem (implements java.io.Closeable) ◦org.apache.hadoop.fs.FilterFileSystem ◦org.apache.hadoop.fs.ChecksumFileSystem ◦org.apache.hadoop.fs.InMemoryFileSystem ◦org.apache.hadoop.fs.LocalFileSystem ◦org.apache.hadoop.fs.HarFileSystem ◦org.apache.hadoop.fs.RawLocalFileSystem 抽象文件系统的基本要素和基本操作。最显著的一个特点就是,FileSystem文件系统是基于流式数据访问的,并且,可以基于命令行的方式来对文件系统的文件进行管理与操作。
  • 16. HDFS API --org.apche.hadoop.ipc。org.apache.hadoop.ipc.VersionedProtocol 。org.apache.hadoop.hdfs.protocol.ClientProtocol 。org.apache.hadoop.hdfs.protocol.ClientDatanodeProtocol 。org.apache.hadoop.hdfs.server.protocol.NamenodeProtocol 。org.apache.hadoop.hdfs.server.protocol.DatanodeProtocol 。org.apache.hadoop.hdfs.server.protocol.InterDatanodeProtocol
  • 17. HDFS API --org.apache.hadoop.HDFSClientProtocol协议:客户端进程与Namenode进程进行通信 DataNodeProtocol协议:一个DFS Datanode用户与Namenode进行通信的协议 InterDatanodeProtocol协议:Datanode之间的通信 ClientDatanodeProtocol协议 :客户端进程与datenode进程进行通信 NamenodeProtocol协议 :次级Namenode(Secondary NameNode)与Namenode进行通信所需进行的操作 clientNameNodeDataNodeclientProtocolDataNodeProtocolClientDatanodeProtocolNamenode主要实现了ClientProtocol,DatanodeProtocol,NamenodeProtocol
  • 18. HDFS API -- ClientProtocol(文件基本操作接口)获取到指定文件src的全部块的信息返回LocatedBlocks,包括文件长度、组成文件的块及其存储位置(所在的Datanode数据结点) --public LocatedBlocks   getBlockLocations(String src, long offset,  long length)  在制定的文件系统命名空间中创建一个文件入口(entry) ,在命名空间中创建一个文件入口。该方法将创建一个由src路径指定的空文件  --public void create(String src, FsPermission masked, String clientName,  boolean overwrite, short replication, long blockSize)  对指定文件执行追加写操作,返回信息,可以定位到追加写入最后部分块的信息 --public LocatedBlock append(String src, String clientName) 设置副本因子,为一个指定的文件修改块副本因子 --public boolean setReplication(String src, short replication)
  • 19. HDFS API -- ClientProtocol(文件基本操作接口)为已经存在的目录或者文件,设置给定的操作权限 --public void setPermission(String src, FsPermission permission) 设置文件或目录属主 --public void setOwner(String src, String username, String groupname) 客户端放弃对指定块的操作 --public void abandonBlock(Block b, String src, String holder) 客户端向一个当前为写操作打开的文件写入数据块 --public LocatedBlock addBlock(String src, String clientName) 客户端完成对指定文件的写操作,并期望能够写完,在写完以后关闭文件 --public boolean complete(String src, String clientName) 客户端向Namenode报告corrupted块的信息(块在Datanode上的位置信息) --public void reportBadBlocks(LocatedBlock[] blocks) throws IOException
  • 20. HDFS API -- ClientProtocol(文件基本操作接口)在文件系统命令空间中重命名一个文件或目录 --public boolean rename(String src, String dst) 删除文件或目录src --public boolean delete(String src) 删除文件或目录src,根据recursive选项来执行 --public boolean delete(String src, boolean recursive) throws IOException; 创建目录src,并赋予目录src指定的nasked权限 --public boolean mkdirs(String src, FsPermission masked) throws IOException; 获取指定目录src中的文件列表 --public FileStatus[] getListing(String src) throws IOException;
  • 21. HDFS API文件读取 在客户端DFSClient中,有一个 DFSClient.DFSInputStream类。当需要读取一个文件的时候,会生成一个DFSInputStream的实例 DFSInputStream的实例调用 ClientProtocol定义getBlockLocations接口,取得一个 LocatedBlocks类的对象,这个对象包含一组LocatedBlock,那里面有所规定位置中包含的所有数据块信息,以及数据块对应的所有数据服务器的位置信息 读取开始, DFSInputStream的Read方法 如有读取时发现错误,客户端向Namenode报告corrupted块的信息 public void reportBadBlocks(LocatedBlock[] blocks)
  • 22. HDFS API文件存入 DFSClient也有一个 DFSClient.DFSOutputStream类,写入开始,会创建此类的实例 DFSOutputStream会从NameNode上拿一个 LocatedBlock 写入开始,调用DFSOutputStream的Write方法
  • 23. HDFS API -- ClientProtocol(系统管理相关接口)监听客户端,Namenode监听到某个客户端发送的心跳状态 public void renewLease(String clientName)  获取文件系统的状态统计数据 --public long[] getStats()  注:返回的数组: public int GET_STATS_CAPACITY_IDX = 0;    public int GET_STATS_USED_IDX = 1;    public int GET_STATS_REMAINING_IDX = 2;    public int GET_STATS_UNDER_REPLICATED_IDX = 3;    public int GET_STATS_CORRUPT_BLOCKS_IDX = 4;    public int GET_STATS_MISSING_BLOCKS_IDX = 5; 安全模式开关操作 public boolean setSafeMode(FSConstants.SafeModeAction action) 
  • 24. HDFS API -- ClientProtocol(系统管理相关接口)保存FsImage映像,同时将更新同步到EditLog中,要求具有超级权限,并且在安全模式下进行。 --public void saveNamespace() 持久化文件系统元数据,将Namenode结点上的数据结构写入到指定的文件中,如果指定文件已经存在,则追加到该文件中  --metaSave(String filename)
  • 25. Hadoop集群搭建一、实验环境 1、三台PC机,Linux操作系统 各主机对应的ip地址: 192.168.1.11 ubuntu1 192.168.1.12 ubuntu2 192.168.1.13 ubuntu3 2、Hadoop安装包(http://hadoop.apache.org/core/releases.html) 3、安装jdk 1.5以上版本
  • 26. 1、在所有的机器上建立相同的用户,例如:grid。2、SSH配置,实现在机器之间执行指令的时候不需要输入密码。 在ubuntu1(准备设为namenode)上生成密钥对,执行$ssh-keygen -t rsa,然后一路回车,就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中。执行: $cd ~/.ssh $cp id_rsa.pub authorized_keys $scp authorized_keys ubuntu2:/home/grid/.ssh $scp authorized_keys ubuntu3:/home/grid/.ssh二、Hadoop安装
  • 27. 3、在ubuntu1上配置Hadoop。编辑conf/hadoop-site.xml解压缩,执行:$ tar –zxvf ../hadoop-0.19.1.tar.gz编辑conf/master,修改为master的主机名(每个主机名一行) ubuntu1编辑conf/slaves,加入所有slaves的主机名 ubuntu2 ubuntu3
  • 28. 编辑所有机器的conf/hadoop-env.sh文件,将JAVA_HOME变量设置为各自JDK安装的根目录,不同机器可以使用不同的JAVA版本。4、其它机器上的配置把Hadoop安装文件复制到其他机器上$ scp –r hadoop-0.19.1 ubuntu2:/home/grid $ scp –r hadoop-0.19.1 ubuntu3:/home/grid
  • 29. 三、Hadoop运行1、格式化分布式文件系统
  • 30. 2、启动Hadoop守护进程
  • 31. 3、停止Hadoop守护进程
  • 32. HDFS实验:观察数据块在Datanode上的分布三个Datanode
  • 33. 文件副本个数为2
  • 34. 文件f.zip的数据块分布情况
  • 35. 关掉一个Datanode时数据块分布情况,此时文件仍然可用
  • 36. 关掉两个Datanode时数据块的分布情况,此时文件不可用
  • 37. 重新启动另外两个Datanode时数据块分布情况
  • 38. 欢迎访问 中国云计算网站 http://www.chinacloud.cn 欢迎使用 《云计算》教材 电子工业出版社 刘鹏 主编本讲到此结束