數(shù)據(jù)存儲使用HBase來承接,HBase是一個開源的、面向列(Column-Oriented)、適合存儲海量非結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)的、具備高可靠性、高性能、可靈活擴展伸縮的、支持實時數(shù)據(jù)讀寫的分布式存儲系統(tǒng)。更多關(guān)于HBase的信息,請參見:https://hbase.apache.org/。
存儲在HBase中的表的典型特征:
大表(BigTable):一個表可以有上億行,上百萬列
面向列:面向列(族)的存儲、檢索與權(quán)限控制
稀疏:表中為空(null)的列不占用存儲空間
MRS服務(wù)的HBase組件支持計算存儲分離,數(shù)據(jù)可以存儲在低成本的 云存儲 服務(wù)中,包含 對象存儲服務(wù) ,并支持跨AZ 數(shù)據(jù)備份 。并且MRS服務(wù)支持HBase組件的二級索引,支持為列值添加索引,提供使用原生的HBase接口的高性能基于列過濾查詢的能力。
HBase結(jié)構(gòu)
HBase集群由主備Master進程和多個RegionServer進程組成。如圖HBase結(jié)構(gòu)所示。
圖1 HBase結(jié)構(gòu)