分布式数据库,HBase 0.92 发布

fmms 12年前
     <p><a href="/misc/goto?guid=4958186451922799198" target="_blank">HBase </a>0.92 发布了,该版本包含大量的改进和 bug 修复,详情请看:<a href="https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12310753&version=12314223">这里</a>.</p>    <p>值得关注的有:</p>    <ul>     <li><a href="/misc/goto?guid=4958326642518124452">Jira entry HBASE-200 coprocessors</a></li>     <li>Support for Hadoop 0.20, 0.21, and 0.22</li>     <li>Support for Java Serialization to HbaseObjectWritable</li>     <li>Utility Class for manual region splitting</li>    </ul>    <p>HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。</p>    <p>HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务,HBase利用Zookeeper作为对应。</p>    <p><a href="/misc/goto?guid=4958326643317268045"><img class="size-full wp-image-896 alignnone" title="image001" alt="分布式存储系统,HBase 0.92 发布" src="https://simg.open-open.com/show/bc6a426098cb4d61bc6d0c70ca699f51.jpg" width="394" height="284" /></a></p>    <p>上图描述了Hadoop EcoSystem中的各层系统,其中HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce为HBase提供了高性能的计算能力,Zookeeper为HBase提供了稳定服务和failover机制。</p>    <p>此外,Pig和Hive还为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。</p>    <h1>HBase访问接口</h1>    <p>1.       Native Java API,最常规和高效的访问方式,适合Hadoop MapReduce Job并行批处理HBase表数据</p>    <p>2.       HBase Shell,HBase的命令行工具,最简单的接口,适合HBase管理使用</p>    <p>3.       Thrift Gateway,利用Thrift序列化技术,支持C++,PHP,Python等多种语言,适合其他异构系统在线访问HBase表数据</p>    <p>4.       REST Gateway,支持REST 风格的Http API访问HBase, 解除了语言限制</p>    <p>5.       Pig,可以使用Pig Latin流式编程语言来操作HBase中的数据,和Hive类似,本质最终也是编译成MapReduce Job来处理HBase表数据,适合做数据统计</p>    <p>6.       Hive,当前Hive的Release版本尚没有加入对HBase的支持,但在下一个版本Hive 0.7.0中将会支持HBase,可以使用类似SQL语言来访问HBase</p>    <h1>HBase数据模型</h1>    <h2>Table & Column Family</h2>    <table border="1" cellspacing="0" cellpadding="0">     <tbody>      <tr>       <td rowspan="2" width="67"><strong>Row Key</strong></td>       <td rowspan="2" width="104"><strong>Timestamp</strong></td>       <td width="385" colspan="2"><strong>Column Family</strong></td>      </tr>      <tr>       <td width="227"><strong>URI</strong></td>       <td width="158"><strong>Parser</strong></td>      </tr>      <tr>       <td rowspan="3" width="67">r1</td>       <td width="104">t3</td>       <td width="227">url=http://www.taobao.com</td>       <td width="158">title=天天特价</td>      </tr>      <tr>       <td width="104">t2</td>       <td width="227">host=taobao.com</td>       <td width="158"><br /> </td>      </tr>      <tr>       <td width="104">t1</td>       <td width="227"><br /> </td>       <td width="158"><br /> </td>      </tr>      <tr>       <td rowspan="2" width="67">r2</td>       <td width="104">t5</td>       <td width="227">url=http://www.alibaba.com</td>       <td width="158">content=每天…</td>      </tr>      <tr>       <td width="104">t4</td>       <td width="227">host=alibaba.com</td>       <td width="158"><br /> </td>      </tr>     </tbody>    </table>    <p>Ø  Row Key: 行键,Table的主键,Table中的记录按照Row Key排序</p>    <p>Ø  Timestamp: 时间戳,每次数据操作对应的时间戳,可以看作是数据的version number</p>    <p>Ø  Column Family:列簇,Table在水平方向有一个或者多个Column Family组成,一个Column Family中可以由任意多个Column组成,即Column Family支持动态扩展,无需预先定义Column的数量以及类型,所有Column均以二进制格式存储,用户需要自行进行类型转换。</p>    <h2>Table & Region</h2>    <p>当Table随着记录数不断增加而变大后,会逐渐分裂成多份splits,成为regions,一个region由[startkey,endkey)表示,不同的region会被Master分配给相应的RegionServer进行管理:</p>    <p><a href="/misc/goto?guid=4958326644115970874"><img class="size-full wp-image-906 alignnone" title="image002" alt="分布式存储系统,HBase 0.92 发布" src="https://simg.open-open.com/show/5f4f3b2a1b5eb23770f98b02063c397e.jpg" width="324" height="285" /></a></p>    <h2>-ROOT- && .META. Table</h2>    <p>HBase中有两张特殊的Table,-ROOT-和.META.</p>    <p>Ø  .META.:记录了用户表的Region信息,.META.可以有多个regoin</p>    <p>Ø  -ROOT-:记录了.META.表的Region信息,-ROOT-只有一个region</p>    <p>Ø  Zookeeper中记录了-ROOT-表的location</p>    <p><a href="/misc/goto?guid=4958326644908150887"><img class="size-full wp-image-898 alignnone" title="image003" alt="分布式存储系统,HBase 0.92 发布" src="https://simg.open-open.com/show/9f1f476e1f91e9fbeb1181d50ca96108.jpg" width="399" height="228" /></a></p>    <p>Client访问用户数据之前需要首先访问zookeeper,然后访问-ROOT-表,接着访问.META.表,最后才能找到用户数据的位置去访问,中间需要多次网络操作,不过client端会做cache缓存。</p>    <h1>MapReduce on HBase</h1>    <p>在HBase系统上运行批处理运算,最方便和实用的模型依然是MapReduce,如下图:</p>    <p><a href="/misc/goto?guid=4958326645711423934"><img class="alignnone size-full wp-image-899" title="image004" alt="分布式存储系统,HBase 0.92 发布" src="https://simg.open-open.com/show/09a1e3a6d90416801b515f0dc367a9d4.jpg" width="554" height="277" /></a></p>    <p>HBase Table和Region的关系,比较类似HDFS File和Block的关系,HBase提供了配套的TableInputFormat和TableOutputFormat API,可以方便的将HBase Table作为Hadoop MapReduce的Source和Sink,对于MapReduce Job应用开发人员来说,基本不需要关注HBase系统自身的细节。</p>    <h1>HBase系统架构</h1>    <p><a href="/misc/goto?guid=4958326646501279914"><img class="alignnone size-full wp-image-900" title="image005" alt="分布式存储系统,HBase 0.92 发布" src="https://simg.open-open.com/show/1de70c89daa9889a0d2238e37ea4b9fe.jpg" width="603" height="389" /></a></p>    <h2>Client</h2>    <p>HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信,对于管理类操作,Client与HMaster进行RPC;对于数据读写类操作,Client与HRegionServer进行RPC</p>    <h2>Zookeeper</h2>    <p>Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址,HRegionServer也会把自己以Ephemeral方式注册到 Zookeeper中,使得HMaster可以随时感知到各个HRegionServer的健康状态。此外,Zookeeper也避免了HMaster的 单点问题,见下文描述</p>    <h2>HMaster</h2>    <p>HMaster没有单点问题,HBase中可以启动多个HMaster,通过Zookeeper的Master Election机制保证总有一个Master运行,HMaster在功能上主要负责Table和Region的管理工作:</p>    <p>1.       管理用户对Table的增、删、改、查操作</p>    <p>2.       管理HRegionServer的负载均衡,调整Region分布</p>    <p>3.       在Region Split后,负责新Region的分配</p>    <p>4.       在HRegionServer停机后,负责失效HRegionServer 上的Regions迁移</p>    <h2>HRegionServer</h2>    <p>HRegionServer主要负责响应用户I/O请求,向HDFS文件系统中读写数据,是HBase中最核心的模块。</p>    <p><a href="/misc/goto?guid=4958326647302652093"><img class="alignnone size-full wp-image-901" title="image006" alt="分布式存储系统,HBase 0.92 发布" src="https://simg.open-open.com/show/b4d49d7d828985a1cbe28eb5ff8f3b3d.jpg" width="553" height="347" /></a></p>    <p>HRegionServer内部管理了一系列HRegion对象,每个HRegion对应了Table中的一个Region,HRegion中由多 个HStore组成。每个HStore对应了Table中的一个Column Family的存储,可以看出每个Column Family其实就是一个集中的存储单元,因此最好将具备共同IO特性的column放在一个Column Family中,这样最高效。</p>    <p>HStore存储是HBase存储的核心了,其中由两部分组成,一部分是MemStore,一部分是StoreFiles。MemStore是 Sorted Memory Buffer,用户写入的数据首先会放入MemStore,当MemStore满了以后会Flush成一个StoreFile(底层实现是HFile), 当StoreFile文件数量增长到一定阈值,会触发Compact合并操作,将多个StoreFiles合并成一个StoreFile,合并过程中会进 行版本合并和数据删除,因此可以看出HBase其实只有增加数据,所有的更新和删除操作都是在后续的compact过程中进行的,这使得用户的写操作只要 进入内存中就可以立即返回,保证了HBase I/O的高性能。当StoreFiles Compact后,会逐步形成越来越大的StoreFile,当单个StoreFile大小超过一定阈值后,会触发Split操作,同时把当前 Region Split成2个Region,父Region会下线,新Split出的2个孩子Region会被HMaster分配到相应的HRegionServer 上,使得原先1个Region的压力得以分流到2个Region上。下图描述了Compaction和Split的过程:</p>    <p><a href="/misc/goto?guid=4958326648094661329"><img class="alignnone size-full wp-image-902" title="image007" alt="分布式存储系统,HBase 0.92 发布" src="https://simg.open-open.com/show/adebfafba8b029b25cd10e9e4a7682f6.gif" width="550" height="115" /></a></p>    <p>在理解了上述HStore的基本原理后,还必须了解一下HLog的功能,因为上述的HStore在系统正常工作的前提下是没有问题的,但是在分布式 系统环境中,无法避免系统出错或者宕机,因此一旦HRegionServer意外退出,MemStore中的内存数据将会丢失,这就需要引入HLog了。 每个HRegionServer中都有一个HLog对象,HLog是一个实现Write Ahead Log的类,在每次用户操作写入MemStore的同时,也会写一份数据到HLog文件中(HLog文件格式见后续),HLog文件定期会滚动出新的,并 删除旧的文件(已持久化到StoreFile中的数据)。当HRegionServer意外终止后,HMaster会通过Zookeeper感知 到,HMaster首先会处理遗留的 HLog文件,将其中不同Region的Log数据进行拆分,分别放到相应region的目录下,然后再将失效的region重新分配,领取 到这些region的HRegionServer在Load Region的过程中,会发现有历史HLog需要处理,因此会Replay HLog中的数据到MemStore中,然后flush到StoreFiles,完成数据恢复。</p>    <h2>HBase存储格式</h2>    <p>HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,主要包括上述提出的两种文件类型:</p>    <p>1.       HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装,即StoreFile底层就是HFile</p>    <p>2.       HLog File,HBase中WAL(Write Ahead Log) 的存储格式,物理上是Hadoop的Sequence File</p>    <h3>HFile</h3>    <p>下图是HFile的存储格式:</p>    <p><a href="/misc/goto?guid=4958326648915961791"><img class="alignnone size-full wp-image-903" title="image008" alt="分布式存储系统,HBase 0.92 发布" src="https://simg.open-open.com/show/cb2c78d4a676e2490b29de8413ca7d0c.jpg" width="554" height="160" /></a></p>    <p>首先HFile文件是不定长的,长度固定的只有其中的两块:Trailer和FileInfo。正如图中所示的,Trailer中有指针指向其他数 据块的起始点。File Info中记录了文件的一些Meta信息,例如:AVG_KEY_LEN, AVG_VALUE_LEN, LAST_KEY, COMPARATOR, MAX_SEQ_ID_KEY等。Data Index和Meta Index块记录了每个Data块和Meta块的起始点。</p>    <p>Data Block是HBase I/O的基本单元,为了提高效率,HRegionServer中有基于LRU的Block Cache机制。每个Data块的大小可以在创建一个Table的时候通过参数指定,大号的Block有利于顺序Scan,小号Block利于随机查询。 每个Data块除了开头的Magic以外就是一个个KeyValue对拼接而成, Magic内容就是一些随机数字,目的是防止数据损坏。后面会详细介绍每个KeyValue对的内部构造。</p>    <p>HFile里面的每个KeyValue对就是一个简单的byte数组。但是这个byte数组里面包含了很多项,并且有固定的结构。我们来看看里面的具体结构:</p>    <p><a href="/misc/goto?guid=4958326649727702692"><img class="alignnone size-full wp-image-904" title="image009" alt="分布式存储系统,HBase 0.92 发布" src="https://simg.open-open.com/show/d00c6d14e6f5d9b892ffc4c316357711.jpg" width="553" height="93" /></a></p>    <p>开始是两个固定长度的数值,分别表示Key的长度和Value的长度。紧接着是Key,开始是固定长度的数值,表示RowKey的长度,紧接着是 RowKey,然后是固定长度的数值,表示Family的长度,然后是Family,接着是Qualifier,然后是两个固定长度的数值,表示Time Stamp和Key Type(Put/Delete)。Value部分没有这么复杂的结构,就是纯粹的二进制数据了。</p>    <h3>HLogFile</h3>    <p><a href="/misc/goto?guid=4958326650527052450"><img class="alignnone size-full wp-image-905" title="image010" alt="分布式存储系统,HBase 0.92 发布" src="https://simg.open-open.com/show/c63414357f96de23ffaee4ecc6332865.jpg" width="553" height="350" /></a></p>    <p>上图中示意了HLog文件的结构,其实HLog文件就是一个普通的Hadoop Sequence File,Sequence File 的Key是HLogKey对象,HLogKey中记录了写入数据的归属信息,除了table和region名字外,同时还包括 sequence number和timestamp,timestamp是“写入时间”,sequence number的起始值为0,或者是最近一次存入文件系统中sequence number。</p>    <p>HLog Sequece File的Value是HBase的KeyValue对象,即对应HFile中的KeyValue,可参见上文描述。</p>    <h1>结束</h1>    <p>本文对HBase技术在功能和设计上进行了大致的介绍,由于篇幅有限,本文没有过多深入地描述HBase的一些细节技术。目前一淘的存储系统就是基于HBase技术搭建的,后续将介绍“一淘分布式存储系统”,通过实际案例来更多的介绍HBase应用。</p>