一种面向用电信息采集场景的HBase数据智能压缩方法分析.pdfVIP

Applications创新应用

一种面向用电信息采集场景的HBase数据

智能压缩方法分析

11121

刘明帅，曾晶，刘国川，洪海敏，孙永明

（1.深圳市国电科技有限公司，广东518110；

2.深圳智芯微电子科技有限公司，广东518000）

摘要：阐述一种基于HBase数据库的用电信息采集数据智能数据压缩方法，该方法通过分析用电信息采

集业务数据设计规范与待写数据抽样的数据类型构成，从而为数据存储表选择最优压缩格式。基于该方

法定义的数据压缩方法可以解决HBase数仓在存储成本和性能上的平衡问题，达到减小存储空间、减轻

网络压力、提高管理效率、降低存储成本的效果。

关键词：数据压缩，用电信息采集，数据模型，数据类型，HBase，数据仓库，存储空间。

中图分类号：TN791，TP309，TP311.13文章编号：1674-2583(2023)11-0083-03

DOI：10.19339/j.issn.1674-2583.2023.11.032

文献引用格式：刘明帅，曾晶，刘国川，洪海敏，孙永明.一种面向用电信息采集场景的HBase数据智能

压缩方法分析[J].集成电路应用,2023,40(11):83-85.

AnalysisofanIntelligentCompressionMethodfor

HBaseDatainElectricityInformationCollection

Scenarios

11121

LIUMingshuai,ZENGJing,LIUGuochuan,HONGHaimin,SUNYongming

(1.ShenzhenGuodianTechnologyCo.,Ltd.,Guangdong518110,China.

2.ShenzhenZhixinMicroelectronicsTechnologyCo.,Ltd.,Guangdong518000,China.)

Abstract—Thispaperdescribesanintelligentdatacompressionmethodforelectricityinformation

collectionbasedonHBasedatabase.Thismethodselectstheoptimalcompressionformatfordata

storagetablesbyanalyzingthedesignspecificationsofelectricityinformationcollectionbusiness

dataandthecompositionofdatatypesfordatasamplingtobewritten.Thedatacompressionmethod

definedbasedonthismethodcansolvethebalanceproblembetweenstoragecostandperformance

inHBasedatawarehouse,achievingtheeffectofreducingstoragespace,reducingnetworkpressure,

improvingmanagementefficiency,andreducingstoragecosts.

IndexTerms—datacompression,electricityinformationcollection,datamodel,datatype,HBase,

datawarehouse,storagespace.

0引言更佳效果：（1）本方法压缩方案均为热操作不影响

用电信息采集是对电力用户的用电信息进行业务运行（IO性能会受限）。（2）本