数据质量检测及其司法领域应用.PDF

数据质量检测及其司法领域应用 廉昊 导师 陈振宇 南京大学智能软件工程 (iSE)实验室 广西，南宁，2019年 04 月 18 日 01 数据质量概念 02 数据质量研究方向 03 司法数据质量 04 数据质量在案例筛选评估中的应用 05 展望 数据质量问题 实则不然 ，以交通数据为例 大数据时代 ：数量胜于质量 ？ 我们到了一个陌生城市常常遇到这样的问题： 1. 公交车站的数据一致性：不同的公交车对同一站台称呼不 同。 2. 地区的路名差异化：同一区域有多条相同名称的道路，难 以分辨。 虽然交通数据量庞大，为生活带来了便利，但由于数据一致性 等问题，容易对行人产生误导，降低出行效率。 数据质量 什么是数据质量(Data Quality) ？ 1. 数据满足数据 消费者预期 的程度，即它能够把预定的使 数据质量检测方法 ： 用目的或者用途完成到什么程度 • 定性方法：基于某些评估标准 2. 多大程度上 表示 了创建它的对象、事件和概念[1] 和要求，根据评估目的和用户 需求，从定性分析的角度来描 萌芽阶段 述和评估数据资源，且由主题 专家或专业人员进行 形成阶段 研究人员发现信息系统被 繁荣阶段 劣质的数据质量影响，无 以MIT的全面数据质量管理 • 定量方法：形式的，客观的， 法正常运行，但是尚未建 (Total Data Quality 系统的过程，依据数据特征获 立统一的数据质量知识体 Management, TDQM)理论为 数据质量研究继续深入,相 取信息,因此其评估结果更直观 系。各行业有独立的数据 代表，众多学科共同创立 关数据质量产品已经大量 和具体 质量评价体系。 了数据和信息质量理论， 出现，国际组织开始研究 并形成了数据质量管理的 和制定数据质量标准，政 统一知识体系。 府部门颁布数据质量法案。 GB/T 36344-2018 信息技术 数据质量评价指标 Source ：[1] Wang, Richard Y, Strong, Diane M. Beyond Accuracy What Data Quality Means to Data Consumers[J]. Journal of Management Information Systems, 1996, 12(4) 5-33. 数据质量领域细分 数据质量