Hbase基本原理、及存储知识

dwd4 4年前

一、Hbase基础

HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。 和传统关系数据库不同,HBase采用了BigTable的数据模型:增强的稀疏排序映射表(Key/Value),其中,键由行关键字、列关键字和时间 戳构成。HBase提供了对大规模数据的随机、实时读写访问,同时,HBase中保存的数据可以使用MapReduce来处理,它将数据存储和并行计算完 美地结合在一起。

数据模型:Schema-->Table-->Column Family-->Column-->RowKey-->TimeStamp-->Value

Hbase基本原理、及存储知识

二、表的特点

大:一个表可以有数十亿行,上百万列
无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列
面向列:面向列(族)的存储和权限控制,列(族)独立检索
稀疏:空(null)列并不占用存储空间,表可以设计的非常稀疏;
数据多版本:每个单元中的数据可以有多个版本,默认情况下版本号自动分配,是单元格插入时的时间戳;
数据类型单一:Hbase中的数据都是字符串,没有类型。

Hbase基本原理、及存储知识

Hbase基本概念

RowKey:是Byte array,是表中每条记录的主键,方便快速查找,Rowkey的设计非常重要。
Column Family
:列族,拥有一个名称(string),包含一个或者多个相关列
Column
:属于某一个columnfamilyfamilyName:columnName,每条记录可动态添加
Version Number
:类型为Long,默认值是系统时间戳,可由用户自定义
Value(Cell)
Byte array

物理存储:
1
Table中所有行都按照row key的字典序排列;
2
Table在行的方向上分割为多个Region
3
Region按大小分割的,每个表开始只有一个region,随着数据增多,region不断增大,当增大到一个阀值的时候,region就会等分会两个新的region,之后会有越来越多的region
4
RegionHbase中分布式存储和负载均衡的最小单元,不同Region分布到不同RegionServer上。

5Region虽然是分布式存储的最小单元,但并不是存储的最小单元。Region由一个或者多个Store组成,每个store保存一个columns family;每个Strore又由一个memStore0至多个StoreFile组成,StoreFile包含HFilememStore存储在内存中,StoreFile存储在HDFS上。

 Hbase基本原理、及存储知识

Hbase基本原理、及存储知识

HBase容错性
Master容错Zookeeper重新选择一个新的Master
Master过程中,数据读取仍照常进行;ü
master过程中,region切分、负载均衡等无法进行;ü
RegionServer容错:定时向Zookeeper汇报心跳,如果一旦时间内未出现心跳,Master将该RegionServer上的Region重新分配到其他RegionServer上,失效服务器上预写日志由主服务器进行分割并派送给新的RegionServer
Zookeeper容错Zookeeper是一个可靠地服务,一般配置35Zookeeper实例
Region
定位流程:

寻找RegionServer

ZooKeeper--> -ROOT-(单Region)--> .META.--> 用户表

-ROOT-
表包含.META.表所在的region列表,该表只会有一个Region;

Zookeeper中记录了-ROOT-表的location。

.META.

表包含所有的用户空间region列表,以及RegionServer的服务器地址。

  • Hbase使用场景

storing largeamounts  of data(100s of TBs)
need high write throughput
need efficient random access(key lookups) within large data sets
need to scale gracefully with data
for structured and semi-structured data
don't need fullRDMS capabilities(cross row/cross table transaction, joins,etc.)

大数据量存储,大数据量高并发操作

需要对数据随机读写操作

读写访问均是非常简单的操作

  • Hbase与HDFS对比

两者都具有良好的容错性和扩展性,都可以扩展到成百上千个节点;
HDFS适合批处理场景
不支持数据随机查找
不适合增量数据处理

不支持数据更新