0
点赞
收藏
分享

微信扫一扫

大数据 - HBase《一》- Hbase基本概念

一世独秀 03-14 19:00 阅读 1

目录

1.1. Hbase简介

1.2 Hbase,Hive, Mysql对比

1.3 Hbase数据模型

🥙region(区域)

🥙rowkey(行键)

🥙列族(column family)

🥙列(column Qualifier)

🥙版本(version)-默认按时间戳去区分版本

🥙cell(存储单元)

🥙Store

Hbase定位如何定位一条数据?

1.4 Hbase架构模型

🥙zookeeper作用

🥙HMaster作用

🥙HRegionServer作用

Region 

HLog

HDFS

1.5 Hbase百亿数据秒级查询的秘密


1.1. Hbase简介

HBase是一种NoSQL(非关系)型的数据库,面向列进行存储。利用HDFS作为文件存储系统

1.2 Hbase,Hive, Mysql对比

  • Hive是计算框架,不是数据库

  • Mysql是数据库,它的数据是落在磁盘上的,并不适用于海量数据的存储

  • Hbase的数据是存在hdfs上的,如果把数据落在磁盘上,那他就和mysql差不多

1.3 Hbase数据模型

🥙region(区域)

HBase 中的数据存储被划分为多个 Region,每个 Region 负责存储一定范围的数据。当数据量增加时,Region 会自动切分为更小的 Region,以便保持数据的均衡分布和高效访问。

🥙rowkey(行键)

在 HBase 中,每一行数据都由一个唯一的 Rowkey 来标识。Rowkey 是一个字节数组,通常用于按照字典顺序对数据进行排序和存储,以便快速查找和访问数据。

🥙列族(column family)

HBase是列式存储,就是以列族(Column Family)为基本单位进行数据的存储。每个列族包含多个列(Column Qualifier),它们共享相同的前缀。列族在创建表时需要预先定义,并且在表的生命周期内不能更改。

🥙列(column Qualifier)

列(Column Qualifier)是 HBase 表中的基本数据单元,它包含在列族(Column Family)中。每个列都与一个值相关联,可以存储任意类型的数据。列的名称是一个字节数组,通常用于表示属性或特征。

🥙版本(version)-默认按时间戳去区分版本

HBase 中的数据是按照版本进行存储的。每次写入数据时,都会附加一个时间戳作为版本标识。默认情况下,HBase 使用时间戳来区分不同版本的数据。可以在读取数据时指定版本号,以获取特定版本的数据。

🥙cell(存储单元)

在 HBase 中,每个单元格(Cell)存储一个特定的数据项,它由行键、列族、列标识和时间戳组成。每个单元格可以包含多个版本的数据,版本之间通过时间戳进行区分。

🥙Store

Store 是 HBase 中存储数据的物理存储单元,对应于一个列族(Column Family)在磁盘上的存储结构。每个列族包含一个或多个 Store,每个 Store 包含一个或多个 HFile 文件,用于存储数据。

 

Hbase定位如何定位一条数据?

一行数据有一个行键叫做rowkey,可以有若干个列族,每一个列族下面有若干个列,每个列中的数据存储支持多个版本(version)

所以,在Hbase中定位一条数据需要通过:Rowkey->Column Family->Column Qualifier->Version

1.4 Hbase架构模型

 

HBase集群主要由HMaster、RegionServer和Zookeeper组成

🥙zookeeper作用

HBase通过Zookeeper来完成集群内各种机制的协调工作。主要工作职责如下:

  • 选举HMaster:保证任何时候,集群中只有一个Master.实现HMaster主从节点的failover.

  • 监控HRegionServer:实时监控HRegionServer的状态,将HRegionServer的上下线实时报告给HMaster.

  • 维护元数据和集群配置:存放整个HBase集群的元数据以及集群的状态信息,包括:

    • 存储所有HRegion的寻址入口,存储所有的元数据信息

    • 存储HBase的Schema,包括有哪些Table,每个Table有哪些Column Family.

 

🥙HMaster作用

(分配数据到底存储在哪个Region server中)

  • 管理和分配Region, 比如在Region split时分配新的region,在RegionServer退出时迁移其内的Region到其他RegionServer上。

  • 负责管理Region server,实现负载均衡

  • 发现失效的Regionserver并通过拆分LOG重新分配其上的region

  • 管理用户对table定义的各类DDL操作

 

🥙HRegionServer作用

  • 管理master为其分配的Region

  • 处理来自客户端的读写请求

  • 负责和底层HDFS的交互,存储数据到HDFS

  • 负责Region变大以后的拆分

  • 负责Storefile的合并工作(StoreFile是抽象的,文件的引用形式)

  • 负载均衡的事情

  • 管理表的片段数据(region)

 

Region 

一个HRegionServer包含了多个HRegion。HBase将表中的数据基于RowKey的不同范围划分到不同的HRegion上,每个HRegion都负责一定范围的数据存储和访问。

HRegion是HBase中分布式存储和负载均衡的最小单元,不同的HRegion可以分布在不同的HRegionServer上。每个表一开始只有一个HRegion,随着数据不断插入表,HRegion不断增大,当增大到指定阈值(10G)的时候,HRegion就会等分成两个HRegion,切分后其中一个HRegion会被转移到其他的HRegionServer上,实现负载均衡。

当Table中的行不断增多,就会有越来越多的Region.为了防止前期数据的处理都集中在一个HRegionServer,我们可以根据自己的业务进行预分区。

这样即使有一张百亿条数据的表,由于数据被划分到不同的HRegion上,每个HRegion都可以独立地进行读写,HBase读写数据的时候还可以与多HRegion分布式并发操作,所以访问速度并不会太大的降低。

 

HLog

一个HRegionServer只有一个HLog文件。负责记录数据的操作日志,当HBase出现故障的时候可以进行日志重放、故障恢复。例如磁盘掉电导致MemStore中的数据没有持久化存储到StoreFile,这时就可以通过HLog日志重放来恢复数据。

HDFS

HDFS为HBase提供底层数据存储服务,同时为HBase提供高可用支持。HBase将HLog存储在HDFS上,当服务器发生异常宕机时,可以重放HLog来恢复数据。

1.5 Hbase百亿数据秒级查询的秘密

假设我们有100亿数据,大约10T,我们创建表时采用预分区的手段,假设有2000HRegion,一个HRegion 5G,我们只需要找这5G数据就可以找到user-1.

一个HRegion有多个store,一个store对应一个列族,我们要查询的列肯定在一个列族中。假设我们这张表被我们分了3个列族,一个store差不多是1.7G,我们只需要找这1.7G数据就可以找到user-1.

一个store分为0个或多个storeFile(HFile),一个StoreFile是100M,大约20个,为了公平20/2=10.我们只需要找这1G数据就可以找到user-1.

storeFile中文又是KV映射的数据,按照1:20的比例。我们只需要找这80M数据就可以找到user-1.

机械键盘差不多是100M/s,固态更不用说了,所以这就是HBase百亿数据秒级查询的秘密。

 

举报

相关推荐

0 条评论