数据治理之数据生命周期管理.pdfVIP

数据治理之数据⽣命周期管理

⼤数据业务系统，在运⾏过程中会产⽣⼤量历史数据，这些历史数据积⽉累下来，除了增加集群的存储成本，也会影响⼤数据集群之上的

应⽤系统的运⾏效率（因为整个⼤数据集群的hdfs,hive,hbase等存储引擎随着负担越来越⼤，其响应效率会有所降低）。

所以数据治理会强调对数据进⾏全⽣命周期的管理，既要考虑数据的采集获取，也要考虑数据的备份归档。我们不能因为⼤数据集群本⾝具

有可横向扩展，容量⼤，单位存储成本低这些特点，就对数据“只进不出”。因为缺少了治理的数据集合，再多也不能称为“数据湖

泊”，⽽是“数据沼泽”，是不利于数据价值的分析挖掘的。

在⼤数据业界，对于数据的⽣命周期管理，普遍的做法是，根据业务特点，分析数据使⽤状况，将数据分为冷数据与热数据（更细致的还有

温数据），然后对冷热数据采取不同的管理策略。常见的数据管理策略有：

利⽤云对象存储的⼒量：将热数据保存在当前⼤数据集群中⽀撑当前的业务系统，⽽将冷数据备份到云对象存储如oss,s3上；

冷热数据分集群存储：将热数据保存在当前⼤数据集群中⽀撑当前的业务系统，并搭建专门的冷数据集群，将冷数据转存到冷集群中；

（冷集群更侧重存储能⼒，热集群更侧重计算能⼒，在集群底层服务器选型上各有侧重，从⽽均衡成本）；

利⽤hdfs本⾝提供的分级存储的策略：hdfs新版本本⾝（其实也不新了，从3.0开始就逐步完善这块了，详情见jirahdfs-2832,）也

是⽀持tieredstorage即分级存储的，可以对不同的⽬录，根据其数据冷热程度不同，动态配置不同的存储策略，从⽽存储到不同的底

层存储介质上。可以使⽤的存储类型storagetypes有archive,disk,ssd和ram_disk，可以配置的存储策略storagepolicies有

hot,warm,cold,All_SSD,One_SSD,Lazy_PersistandProvided。

直接删除冷数据：当前的⼤数据集群只保存业务需要的数据，⽽将业务不需要的历史数据，定期通过脚本进⾏删除。这种⽅式，因为需

要删除数据，所有只有在业务⽅确认数据确实不需要了，⽽且公司真个成本⼜有限的情况下，才会使⽤。

在某⼤数据系统的案例中，在跟客户充分沟通后，出于成本的考量，他们采⽤了第四条，即直接删除冷数据的⽅案（当然还有部分易操作性

的考量）。

该⽅案的实现其实只是⼏条ddl语句，其调⽤⽅式和核⼼内容如下：

beeline-ujdbc:hive2://ip:10000-hivevarhs_cic_db=${hs_cic}-hivevarclear_date=${clear_date}-fxxx.sql

xxx.sql脚本内容如下：use${hs_cic_db};altertablexxdropifexistspartition(part_date${clear_date});

注意：hql中使⽤的变量，建议在命令⾏使⽤hivevar来声明，⽽不是hiveconf，后者⼀般只⽤来指定hive⾃⾝的通⽤配置参数，如

mapred.reduce.tasks。

进⼀步技术细节，可以参考：

issues.apache.org/jira/

hadoop.apache.org/docs/