论数据清洗对信息检索质量的影响及清洗方法.pdfVIP

论数据清洗对信息检索质量的影响及清洗方法 蒋勇青1 杨奕虹k2杨贺L2 (1中国科学技术信息研究所北京100038) (2北京万方软件有限公司北京100038) 摘要本文讨论了数据清洗工作在提高数据检索质量方面的必要性及重要作用，并结 合传统文献加工思想提出数据清洗工作中处理错误数据和重复数据的方法。 关键词数据仓库数据清洗数据规范检索系统查全率查准率 1 前言 在传统图书情报检索领域中，查全率和查准率是评价情报检索系统检索效果的重要指 标，即便是在信息技术蓬勃发展的今天，这两个指标依旧不过时，尤其是对目前超大规模数 据仓库的检索系统，更加凸显两者的重要性，因为检索用户总是希望在越短的时间内获得越 高质量的检索结果。 笔者认为解决这一矛盾的办法涉及三个方面，数据仓库质量、检索系统性能和用户的检 索策略，三者首尾相连、相辅相成。当然每个方面又有若十个方向值得研究与改进，本文主 要研究数据仓库数据质量、特别是数据加工方面对于提高检索结果质量的重要作用及所做的 相应工作。 2 概述数据仓库建设过程中数据质量和数据加工面临的问题 老情报工作者一定对多年前的书目检索记忆犹新，那会还是手工检索纸质索引目录，科 技工作者检索文献时通常需要委托图书馆员协助进行，查全率与查准率的计算也容易得多。 而今随着汁算机技术的发展和网络的普及，网络数据库诞生了。这些年来，从文摘数据库到 全文数据库，从单一数据库到集成数据库的数据仓库，文献数量从几千条到上亿条，存储量 也从几十l【B迅速增长到了几十1B。 面对这样的海量数据并且还在不断增加规模的信息资源，计算查全率和查准率都变得困 难起来，因为在数据未经深加工和处理之前，系统中的“真实相关”数据总量难以统计。所 谓真实相关，是指那些确定是同一个单元体，但是描述方式不同的情况，举例来讲，自行车、 脚踏车、单车均指同一事物而叫法不一。同行会说，这个问题早已通过词表解决，但若这个 问题发生在数据仓库的各个元数据内容中又将如何呢?事实上，这一现象在业界已经有了专 有名词——“脏数据”(dirtydata)，或称之为噪音数据。 2．1 脏数据的类型及其来源 面对海量的数据资源，用户已经不能容忍同一检索命令重复运行于多个数据库中，由此 数据仓库应运而生。它集合了海量不同来源的异构数据，经过ETLfll(Extract抽取—— Transform转换——I，∞d装载)的处理形成统一的数据仓库。尽管数据在各自单一数据库中 有详细严谨的元数据规范和著录规则，但在ETL过程中，脏数据的出现也在所难免。 通常脏数据可分为两类：错误数据和重复数据。错误数据主要来自数字化过程中的识别 录入错误、著录规则执行宽泛、批量转换失真等人为操作失误，如信息残缺、乱码、溢出等 35 等。重复数据是指同一实体拥有多个近似却不相等的记录形式，有学者认为重复数据还可细 分为重复数据和不完整数据【2】，例如同一篇文献有多条记录描述，因各自元数据项目记录的 差异或矛盾致使计算机系统无法判定删重；再比如同一实体描述内容不完整，像“中国科学 技术信息研究所”和“中国科技信息研究所”。笔者认为这两种数据实质都是重复，只是目 标对象颗粒度存在差别。 2．2 脏数据对查全、查准的影响 脏数据对于检索系统中的查全率和查准率的影响是巨大的，下面通过实例说明。 例一：检索结果少了 需要检索出“中国科学技术信息研究所”发表的全部论文，在未经数据清洗前仅仅用上 述名称检索，结果肯定会少。因为在数据仓库中，该单位的名称还可能表述为“中国科技信 息研究所”、“中国科技情报研究所”、“中情所”等名称。 例二：检索结果多了 需要检索出“朝阳医院发表的全部论文，本意是想检索出北京朝阳医院发表的全部论 文，结果因为同名问题，还检索出了辽宁省朝阳市医院、江苏省南通市朝阳医院发表的论文。 例三：检索结果错了 需要检索出某位专家发表的全部论文，结果因为姓名相同的问题，检索出来的结果还含 有其他同名作者的论文。 上述问题都会导致检索的查全率与查准率大幅降低，若想实现两者的双高平衡点，必须 总结传统数据加工的经验，挖掘制约检索质量的问题根源，设法改进加工质量和效率，因此 数据清洗工作势在必行。 3 数据清洗 数据清洗工作是繁重且具有难度的。有报道称，在一个数