基于规则和数据学习的清洗模型研究.pdfVIP

2011年9月 陕西教育学院学报 Sep．2011 第27卷第3期 Journal of Shaanxi Institute of Education Vo1．27 No．3 基于规则和数据学习的清洗模型研究 石少敏 (陕西教育学院计算机科学与技术系，陕西西安 710061) 摘 要：数据质量在信息管理系统中具有重要意义。然而，由于用户拼写、录入、系统升级等原因导致各种数 据质量问题的出现。数据清洗的目的就是检测出脏数据并修复它们。而当前的清洗工具缺乏灵活性和扩展性，基 于此，本文提出了一个基于规则和数据学习的通用清洗模型。模型实现了动态规则学习和动态数据学习等关键技 术。通过规则匹配和反馈学习过程实现了动态清洗规则最佳选择；通过字段学习和元表学习过程实现了动态数据 的初始化。实验证明，应用该模型保证了动态数据的质量，提高了当前清洗工具的灵活性和扩展性。 关键词：数据清洗；清洗规则；规则反馈；数据质量；数据学习；规则学习