大数据治理平台暨数据质量管理解决方案.pptVIP

大数据治理平台暨数据质量管理解决方案.ppt

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

大数据治理平台暨数据质量管理解决方案

整理制作:郎丰利1519制作时间:2023年睿利而行

整理制作:郎丰利1519制作时间:2023年睿利而行

整理制作:郎丰利1519制作时间:2023年睿利而行

68

影响数据质量的关键隐患问题总结

▉信令大数据的规模占比超过95%,是性能管理现阶段数据质量主要矛盾。

▉在日常运营过程中总结发现,影响信令数据质量的问题遍及数据源、数据平台、上层应用三层。

某些大网调整工作与DPI割接不同步,导致数据漏接:网元扩容、网元割接、地址变更

某些时刻业务量突增,DPI带宽/性能不足,导致数据溢出:黄金周、春节返乡、重大活动某些原始XDR字段统计错误,导致KQI计算不准:错误码、呼叫类型

某些原始XDR关键信息回填失败,导致KQI计算不准:IMSI、MSIDN、IMEI、TAC、CELLIDDPI特征库更新不及时,导致业务识别异常:识别不出、识别错误

SDTP接口链路异常,导致数据丢失

平台持续高负荷,导致任务积压、数据缺失:集群规划不合理、参数设置异常、程序未调优

设备与网络故障,影响全量数据运算:数据库宕机、采集清洗机故障

指标算法统计错误,导致KQI计算不准:用户数、流量、成功率

某些基础数据异常,影响业务运算准确性:家客资源、小区资源、核心网资源

共享接口链路故障/接口文件延时,导致应用汇总异常

某些设备故障,影响全量数据运算:数据库宕机、采集清洗机故障

数据源

数据平台

上层应用

69数据质量保障体系

▉数据质量保障体系建设思路:建立标准+组织+工具+运维的综合保障体系

2、组织与制度

•构建多方专人的保障组:局方、数据源厂家、数据共享平台厂家、数据应用厂家

•制定管控制度:质量例会

4、质量核查工具

•数据质量信息核查组件/探针

•配置化数据质量核查功能

•短信+告警结合的预警手段

3、处理流程

•明确数据处理问题闭环处理流程

5、运维保障

•定制日常质量巡检作业

•定期开展运维分析报告

1、标准规范

•制定数据标准规范

•制定数据核查标准

数据质量

保障体系

接口类型

规则类型

检查内容

4G实时数据模型

及时性

文件生成时延30分钟

完整性

有无标题行、文件数、记录数、列数

准确性

1、http访问成功率90%

2、http平均响应时延3000ms

3、http平均下载速率10kbps

4、http平均下载速率(包500KB)1000kbps

5、ATTACH成功率90%

6、ATTACH平均时延3000ms

7、承载建立成功率90%

8、承载建立平均时延3000ms

9、TCP建立成功率90%

10、TCP建立平均时延3000ms

字段中文名

字段英文名

字段类型

字段规范

城市区号

city

varchar(5)

1、类型:数字

接口类型

interface

BIGINT

1、类型:数字

2、范围:[1-24]

RAT

rat

BIGINT

1、类型:数字

2、范围:[1-6]

IMSI

imsi

varchar(20)

1、非空

2、类型:数字

3、长度:15

手机号

msisdn

varchar(20)

1、非空

2、类型:数字

3、长度:11或13

70数据质量标准规范

▉梳理并制定各类数据的标准规范及核查标准

数据标准规范

数据核查规范

组织与制度

▉针对重点业务质量保障制定了“专项小组,定期例会,专项汇报”机制,保障平台内部落实各项保障规范和相关措施

•确定每月/每季度专项重点保障范围

•明确专项核查重点KPI及保障标准

•闭环管理:专人每日巡检、每日汇报

•定期总结:每周召开数据质量分析会、每月召开故障分析会、投诉及故障处理经验归档管理

磐石行动、部省接口等专项行动

•局方专人管理

•各厂家项目经理挂帅

•各层厂家设置量问题专员、重点专题专人保障

质量保障专项团队

总结经验、IT固化规则,

提升自动化运维水平

形成项目例会,每两周针对

近两周数据质量问题进行总结,要求各厂家分析数据质量原因、找出隐患和根源

专人负责

组织定期

例会分析

专项汇报

定期例会

专项小组

71

EOMS

—__——__—

STGODMDW

文档评论(0)

天下会00 + 关注
实名认证
文档贡献者

初级会计资格证持证人

文档来自网络 如涉及侵权 请告知删除 下载前请阅读文档内容,一旦支付,意味同意购买此文档 概不退款

领域认证该用户于2023年04月11日上传了初级会计资格证

1亿VIP精品文档

相关文档