图解HBase--大数据平台技术栈

HBase写流程

• Client通过Region寻址定位到需要访问的RegionServer;
• 将更新写入WAL HLog，然后将更新写入MemStore，两者写入完成即返回ACK到Client;
• 判断MemStore的大小是否达到阈值，是否需要flush为StoreFile。

细节：

HBase使用MemStore和StoreFile存储对象表的更新，数据在更新的时候首先写入HLog和MemStore。MemStore中的数据时排序的，当MemStore累积到一定阈值时，就会创建一个新的MemStore并将老的MemStore添加到flush队列，由单独的线程flush到磁盘上，成为一个StoreFile。同时，系统会在Zookeeper中记录一个checkpoint，表示这个时刻之前的更新已经持久化了，当系统出现意外时，可能导致MemStore中的数据丢失，此时使用HLog来恢复chckpoint之后的数据。

HBase读流程

• Client通过Region寻址定位到需要访问的RegionServer
• 先从BlockCache中查找数据，找不到再去MemStore和StoreFile中查询数据

在对HBase进行写操作的时候，进行Put和Update操作的时候，其实是新增了一条数据，即使是在进行Delete操作的时候，也是新增一条数据，只是这条数据没有value，类型为DELETE，这条数据叫做墓碑标记(Tobstone)。数据的真正删除是在compact操作时进行的。

WAL机制

WAL(Write-Ahead Log，预写日志)主要用来来解决宕机之后的操作恢复问题的。数据到达Region的时候会先写入WAL，然后再被写入MemStore。就算Region的机器宕掉了，由于WAL的数据时存储在HDFS中的，所以数据并不会丢失，还可以从WAL中恢复。

HLog的生命周期

产生

所有涉及到数据的变更都会先写到HLog中，除非是关闭了HLog。

滚动

HLog的大小可以通过参数hbase.regionserver.logroll.period来控制，默认是1小时，时间达到该参数设置的时间，HBase会创建一个新的HLog文件。这就实现了HLog滚动的目的。HBase通过hbase.regionserver.maxlogs参数控制HLog的个数。滚动的目的是为了避免单个HLog文件过大的情况，方便后续的过期和删除。

过期

HLog的过期依赖于sequenceid的判断。HBase会将HLog的sequenceid和HFile最大的sequenceid(刷新到的最新位置)进行比较，如果该HLog文件中的sequenceid比刷新的最新位置的sequenceid都要小，那么这个HLog就过期了，对应HLog会被移动到/hbase/oldWALs目录。

因为HBase有主从同步的功能，这个是依赖于HLog来同步HBase的变更，所以HLog虽然过期，也不会立即删除，而是移动到别的目录中。再增加对应的检查和保留时间机制。

删除

（编辑：网站开发网_马鞍山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!