基干运营商数据质量管控体系探析.docVIP

基于运营商的数据质量管控体系探讨 　　【摘要】目前电信运营商均在进行各类网络及数据的集约化，集约化过程中数据涉及较多环节，任何一个环节出现问题都会影响数据质量。本文对数据质量管控内容、运营商数据质量现状做了深入研究，详细论述了如何借助系统，通过数据质量监控和数据质量分析等手段，发现数据质量问题，并针对可能出现的各类数据质量问题，提出了切实可行的解决方案。该体系方案已在中国电信多个数据集中项目中得到了实施，并取得了良好的应用效果 【关键词】质量监控 质量分析 数据补救措施 “数据，已经渗透到当今每一个行业和业务职能领域。”大数据时代的来临，为企业特别是运营商带来了前所未有的机遇，与此同时，数据分析及应用的挑战也接踵而来。运营商所需存储处理的数据量惊人，数据来源及结构繁多复杂，要想充分发挥大数据所赋予的价值，必须拥有可靠、准确、及时的高质量数据 只有从高质量的大规模数据中提取隐含的真实有用的信息，运营商才能做出更加精准、更加符合市场和客户需求的决策，否则大数据的优势将化为泡影。为此，运营商需要更加注重大数据时代下的数据质量 一、数据质量管控内容 数据质量管理，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量通常通过以下几个维度来衡量：完整性、准确性和及时性。完整性指的是数据信息是否存在缺失的状况，数据缺失的情况可能是整个数据记录缺失，也可能是数据中某个字段信息的记录缺失。准确性是统计数据质量在统计信息客观真实性方面的体现，是统计数据使用者的首要要求。数据的准确性包含正确性和有效性。及时性是统计数据质量在统计信息的时间价值上的体现，及时性对于数据分析本身要求并不高，但如果数据分析周期加上数据建立的时间过长，就可能导致分析得出的结论失去了借鉴意义 二、产生数据质量问题的原因 数据分析系统的灵魂是数据。“脏数据”，即数据质量差的数据，它们的存在直接影响了分析系统的使用质量。如果数据仓库中存在着大量的不可信赖的脏数据，那么基于它所做的分析项目就会受到极大的影响。因此提高数据质量是运营商大数据分析必须面对的问题。为了更好地解决数据质量问题，就必须对脏数据来源有个清晰的了解。归结起来主要有3个来源：源系统、数据集成过程及数据分析过程 致使源数据系统中存在脏数据的原因主要包括：数据实施过程中完整性受到破坏但未被发现；软硬件故障导致数据质量被破坏；不同的源系统的数据相互之间不一致，这可能由于各系统来自不同的厂商，没有统一的数据定义，没有采用统一的规则等；没有正确的命名规范或数据定义，可能会导致统计上的混淆 第二大产生脏数据的过程就是在源数据加载到数据仓库之前的清洗、加载流程，即数据集成过程。由于录入到数据仓库的数据来自于各个不同平台系统，源数据之间的数据结构、信息编码、数据定义等方面可能都不一致，集成过程就是把这些凌乱的数据源进行整理和统一。而开发人员对数据源系统的业务方面理解的不充分，导致规则理解错误，或者即使规则很明确，ETL开发的过程中也会发生一些错误，例如逻辑错误、书写错误等，这些都将直接导致脏数据的产生 数据分析建模是指用适当的统计分析方法、模型对收集来的大量数据进行分析，提取有用信息形成结论。在该过程中，可能存在同一指标不同开发人员多个算法、或者开发人员人为处理错误等导致脏数据的产生 三、传统数据质量管控方式 运营商的各个网管、IT系统经过长期的建设演进，虽然在各系统内部已初具一些数据质量监控手段，但传统的数据质量监控方式仍比较单一，由各自专业网管承担，通常需较多人为干预，效率较低，且数据质量好坏很大程度上依赖于维护人员的业务熟悉程度。目前运营商在进行各类数据的集约化，集约化过程中数据涉及采集层、处理层及应用层等多层面，而且网管、平台数据从采集、处理到大数据应用，需跨多地域多个专业系统，专业领域跨度大且涉及多个厂商及不同接口，存在越来越多数据质量隐患环节，任何一个环节出现问题都会影响数据质量 传统的数据管理模式逐渐满足不了网络运维管理集中化及大数据分析的要求，难以对数据质量进行有效监控，无法快速对各类数据问题进行溯源分析，且数据质量监控工作各个环节相应的角色和职责等机制未建立，难以支撑数据质量问题的及时处理 在网管集约化的演进趋势下，亟需建议一套完善的数据质量管控体系，智能化主动发现问题，并改变以往逐层进行问题排查的盲目工作方式 在该体系下，对跨区域、跨系统数据端到端采集、处理流程进行梳理，设置数据质量监测点，并通过可视化视图使网管维护人员清晰地发现和定位问题出现点，主动地发现解决问题，并采用自动派单及时通知