NoSQL-Hbase-实现原理

一、Hbase原理

逻辑视图

Hbase 表的特点


image.png

LSM三层存储

hbase会将数据先写到内存中,内存满了会将数据刷写到文件中。

image.png

但是如果数据量大的话,时间一长,就会有很多次的刷写,带来大量的磁盘操作的IO。这个问题怎么解?

Hbase会定期将磁盘上的小文件进行合并,合并成大文件。这样的话,小文件会慢慢变成大文件,这样的大文件就适合存储在HDFS中了。

就跟洗袜子一样,袜子先放盆里,盆满了放桶里面,桶满了才去洗衣机洗;Hbase是数据先写内存,到一定大小写到文件中,将多个小文件合并成大文件后再写入到HDFS中进行实际存储。

image.png

数据一开始存在内存中,如果机器突然挂了,数据不就丢失了么,这个问题Hbase是怎么解的?
这里Hbase采用了跟HDFS类似的原理,他运用到了wal预写日志的思想:hbase也会将数据的操作先写日志,然后存到内存,哪天机器挂了,内存丢了,还能从WAL日志中将数据恢复。

image.png

Hbase的WAL机制通过日志恢复策略,保证了内存中的数据不会丢失。

Hbase集群架构

一个 HBase 集群一般由一个 Master 和多个 RegionServer 组成。

  • 客户端库:可以通过 HBase 提供的各式语言API 库访问集群。
  • API 库也会维护一个本地缓存来加快对 HBase 对访问,比如缓存中记录着 Region 的位置信息。
  • Maste 节点:主要为各个 RegionServer 分配 Region,负责 RegionServer 对负载均衡,管理用户对于 Table 对 CRUD 操作。
  • RegionServer:维护 Region,处理对这些 Region 对IO 请求,负责切分在运行过程中变过大的 Region。

下图是Hbase集群中的组件图:


image.png

下图是Hbase的架构图,双HMaster组成高可用,HRegionServer存储数据。


image.png

hbase的架构似乎也是master-slave架构,和hdfs有点像,HMaster是用来管理集群,HRegionServer是真正存储数据的地方。

Hbase在数据查询和写入的时候,其实并不是像hdfs那样询问HMaster。在hbase中,每一张表都会有元信息,这些信息也是被存储为hbase表,称为元信息表,也叫meta表,这是一种系统表。所以hbase总是先查询meta表,然后就知道数据存储在哪个HRegionServer上了。

既然meta表也是存储在hbase上,那么hbase又如何知道meta表存在哪个HRegionServer上呢?这岂不是一个鸡生蛋蛋生鸡的问题?

meta表是hbase表,是指meta表也是用rowkey和value的键值存储,但是并没有说meta表在hbase上啊。其实meta表不是存储在HRegionServer上,而是存储在那个分布式协调服务zookeeper上面。

所以meta表其实是在一个固定地方读取,然后根据meta表就知道数据在哪个HRegionServer上。但是zookeeper又是啥呢?

zookeeper是分布式系统中非常重要的组件,主要用于分布式系统间的协调选主,还有一些公共的集群元信息的存储。

Hbase 中的Master有什么作用?
HMaster的任务相对不繁重,但是却比较重要,它主要是通过调整和管理Region分布来实现HRegionServer的负载均衡。

HRegionServer架构

Region是hbase在rowkey上的切分,每个Region都可以通过startKey和endKey来确定rowkey的范围,一个HRegionServer上可能会有多个Region。

把Rowkey分成几块,每一块会形成一个Region,每一个Region分布在一个RegionServer上。

image.png

表的横向切分

  • Table中所有的行都是按照row key的字典序排列的。例如,rowkey 1,2,10的排列顺序为1,10,2。
  • Table在行的方向上分为多个region。
  • Region具有最大值,达到阈值会等分为两个region。
  • Region是Hbase实现横向扩展和负载均衡功能的基本单元,不同的Region分布到不同的RegionServer,Region与RegionServer之间是多对多的关系。

数据是根据rowkey和一定的哈希规则,分散到不同的Region上面,而Region又是属于某一个HRegionServer上的。通过这里其实可以得出rowkey设计的另一个原则,就是散列性,rowkey的头几个字母,最好不要是一样的,不然会分布在同一个HRegionServer上面,导致这个HRegionServer的负载非常高,累死累活,其他HRegionServer却没事干。一般可以根据一定规则算一个数据的摘要,比如md5,把md5的头几位拼在rowkey的前面

下图是RegionServer中的主要组件及其架构图:


image.png
image.png

一个 Region 是由一个或多个 Store 组成。每一个 Store 其实就是一个列族。每个Store 又是由一个 memStore 和 0 个或者多个 storeFile 组成。memStore 是存储在内存中,是LSM中的第一层,storeFile 是存储在 HDFS 中,这里StoreFile只是一个名字,它是以HFile的格式存储在hdfs上,HFile是一个存储格式,在新版本的HFile存储格式中,它就是一个类似B+树的索引索引形式。数据都会先写入memStore,一旦 memStore 超过给的的最大值之后,HBase 就会将memStore 持久化为 storeFile。Hlog是借鉴了之前提到的WAL的思想,防止机器挂掉以后,memStore内存中的文件丢失。

Hbase读写流程

Hbase写流程
1、hbase client要写输入了,先从zookeeper中拿到meta表信息,根据数据的rowkey找到应该往哪个RegionServer写
2、然后hbase会将数据写入对应RegionServer的内存MemStore中,同时记录操作日志WAL
3、当MemStore超过一定阈值,就会将内存MemStore中的数据刷写到硬盘上,形成StoreFile
4、在触发了一定条件的时候,小的StoreFile会进行合并,变成大的StoreFile,有利于hdfs存储

image.png

Hmaster的作用是什么?

当大量rowkey相近的数据都被分配到一个Region中,导致这个Region数据过大的时候,Region进行拆分,HMaster会对拆分后的Region重新分配RegionServer,这是HMaster的负载均衡策略。

Hbase读流程
1、hbase client要读数据了,先从zookeeper中拿到meta表信息,根据要查的rowkey找到对应的数据在哪些RegionServer上
2、分别在这些RegionServer上根据列簇进行StoreFile和MemStore的查找,得到很多key-value结构的数据
3、根据数据的版本找到最新数据进行返回


image.png

二、Hbase的优缺点与适用场景分析

优点:

  • 十万行、百万类的海量数据存储
  • 支持百万级别高并发写入
  • 支持实时查询
  • 适合稀疏数据的存储

缺点:

  1. Hbase对于事务的支持比mysql差多了。

OLAP VS OLTP

  1. OLTP应用做联机事务处理应用,就是类似银行转账类的业务,对于事务要求比较高,适合mysql这一类的数据库;
  2. OLAP应用叫联机分析处理应用,比如推荐系统,是在收集了大量用户行为后进行分析,再得出结论的应用,主要侧重分析,对事务要求非常低,适合hbase这一类的数据库。

三、总结

1、hbase是列式存储,和mysql的行式存储不一样
2、hbase中有列簇概念,同一个列簇下的列存储在一起,在Region的一个StoreFile中
3、hbase是按照rowkey进行查找,要查询的字段要想办法放到rowkey中
4、hbase内部使用LSM三层模型进行存储,数据先写到内存MemStore中,内存达到一定阈值再刷写到硬盘StoreFile中,再满足一定条件时,小的StoreFile会合并为大的StoreFile
5、hbase适合OLAP类的应用

四、参考资料

  1. 你应该知道的 HBase 基础,都在这儿了
  2. 【生活现场】从洗袜子到hbase存储原理解析