- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
大数据治理平台暨数据质量管理解决方案
整理制作:郎丰利1519制作时间:2023年睿利而行
整理制作:郎丰利1519制作时间:2023年睿利而行
整理制作:郎丰利1519制作时间:2023年睿利而行
68
影响数据质量的关键隐患问题总结
▉信令大数据的规模占比超过95%,是性能管理现阶段数据质量主要矛盾。
▉在日常运营过程中总结发现,影响信令数据质量的问题遍及数据源、数据平台、上层应用三层。
某些大网调整工作与DPI割接不同步,导致数据漏接:网元扩容、网元割接、地址变更
某些时刻业务量突增,DPI带宽/性能不足,导致数据溢出:黄金周、春节返乡、重大活动某些原始XDR字段统计错误,导致KQI计算不准:错误码、呼叫类型
某些原始XDR关键信息回填失败,导致KQI计算不准:IMSI、MSIDN、IMEI、TAC、CELLIDDPI特征库更新不及时,导致业务识别异常:识别不出、识别错误
SDTP接口链路异常,导致数据丢失
平台持续高负荷,导致任务积压、数据缺失:集群规划不合理、参数设置异常、程序未调优
设备与网络故障,影响全量数据运算:数据库宕机、采集清洗机故障
指标算法统计错误,导致KQI计算不准:用户数、流量、成功率
某些基础数据异常,影响业务运算准确性:家客资源、小区资源、核心网资源
共享接口链路故障/接口文件延时,导致应用汇总异常
某些设备故障,影响全量数据运算:数据库宕机、采集清洗机故障
数据源
数据平台
上层应用
69数据质量保障体系
▉数据质量保障体系建设思路:建立标准+组织+工具+运维的综合保障体系
2、组织与制度
•构建多方专人的保障组:局方、数据源厂家、数据共享平台厂家、数据应用厂家
•制定管控制度:质量例会
4、质量核查工具
•数据质量信息核查组件/探针
•配置化数据质量核查功能
•短信+告警结合的预警手段
3、处理流程
•明确数据处理问题闭环处理流程
5、运维保障
•定制日常质量巡检作业
•定期开展运维分析报告
1、标准规范
•制定数据标准规范
•制定数据核查标准
数据质量
保障体系
接口类型
规则类型
检查内容
4G实时数据模型
及时性
文件生成时延30分钟
完整性
有无标题行、文件数、记录数、列数
准确性
1、http访问成功率90%
2、http平均响应时延3000ms
3、http平均下载速率10kbps
4、http平均下载速率(包500KB)1000kbps
5、ATTACH成功率90%
6、ATTACH平均时延3000ms
7、承载建立成功率90%
8、承载建立平均时延3000ms
9、TCP建立成功率90%
10、TCP建立平均时延3000ms
字段中文名
字段英文名
字段类型
字段规范
城市区号
city
varchar(5)
1、类型:数字
接口类型
interface
BIGINT
1、类型:数字
2、范围:[1-24]
RAT
rat
BIGINT
1、类型:数字
2、范围:[1-6]
IMSI
imsi
varchar(20)
1、非空
2、类型:数字
3、长度:15
手机号
msisdn
varchar(20)
1、非空
2、类型:数字
3、长度:11或13
70数据质量标准规范
▉梳理并制定各类数据的标准规范及核查标准
数据标准规范
数据核查规范
组织与制度
▉针对重点业务质量保障制定了“专项小组,定期例会,专项汇报”机制,保障平台内部落实各项保障规范和相关措施
•确定每月/每季度专项重点保障范围
•明确专项核查重点KPI及保障标准
•闭环管理:专人每日巡检、每日汇报
•定期总结:每周召开数据质量分析会、每月召开故障分析会、投诉及故障处理经验归档管理
磐石行动、部省接口等专项行动
•局方专人管理
•各厂家项目经理挂帅
•各层厂家设置量问题专员、重点专题专人保障
质量保障专项团队
总结经验、IT固化规则,
提升自动化运维水平
形成项目例会,每两周针对
近两周数据质量问题进行总结,要求各厂家分析数据质量原因、找出隐患和根源
•
专人负责
组织定期
例会分析
专项汇报
定期例会
专项小组
71
EOMS
—__——__—
STGODMDW
文档评论(0)