一个基于流程的数据清洗框架的研究.pdfVIP

第２６卷第９期　　　 计算机应用与软件 Ｖｏｌ２６Ｎｏ．９ ０９ ２００９年９月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｓｅｐ．２０ 一个基于流程的数据清洗框架的研究 １ ２ ３ 董　明　张　芸 　曹渠江 １（山东商业职业技术学院国际交流学院　山东济南２５０１０３） ２（银座集团股份有限公司　山东济南２５００１１） ３（上海理工大学　上海２０００９３） 摘　要　　以往的数据清洗方法需要基于模式进行规则编码，费时、困难，而且后期难以修改规则。提出了一种新的相似重复记录 的消除框架，可以使用户在无需编码的条件下简单地完成数据清洗工作。该框架具有开放的算法库、函数库以及基于模糊规则和成 员函数的模糊推导系统，使其具有较强的通用性和适用性。最后通过实验验证了该框架的有效性。 关键词　　数据清洗　重复记录　可扩展框架　模糊推导系统 ＳＴＵＤＹＯＮＰＲＯＣＥＳＳＢＡＳＥＤＤＡＴＡＣＬＥＡＮＩＮＧＦＲＡＭＥＷＯＲＫ １ ２ ３ ＤｏｎｇＭｉｎｇ　ＺｈａｎｇＹｕｎ　ＣａｏＱｕｊｉａｎｇ １（ＳｈａｎｄｏｎｇＩｎｓｔｉｔｕｔｅｏｆＣｏｍｍｅｒｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｊｉｎａｎ２５０１０３，Ｓｈａｎｄｏｎｇ，Ｃｈｉｎａ） ２（ＹｉｎｚｕｏＧｒｏｕｐＣｏ．，ＬＴＤ，Ｊｉｎａｎ２５００１１，Ｓｈａｎｄｏｎｇ，Ｃｈｉｎａ） ３（ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｅａｒｌｉｅｒａｐｐｒｏａｃｈｅｓｏｆｄａｔａｃｌｅａｎｉｎｇ，ｗｈｉｃｈｒｅｑｕｉｒｅｓｔｏｅｎｃｏｄｅｒｕｌｅｓｂａｓｅｄｏｎａｓｃｈｅｍａ，ｗｅｒｅｔｉｍｅｃｏｎｓｕｍｉｎｇａｎｄｄｉｆｆｉｃｕｌｔ，ａｎｄ ｕｓｅｒｓｃｏｕｌｄｎｏｔｌａｔｅｒａｄａｐｔｔｈｅｒｕｌｅｓ．Ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎｏｖｅｌｄｕｐｌｉｃａｔｅｅｌｉｍｉｎａｔｉｏｎｆｒａｍｅｗｏｒｋｔｈａｔｌｅｔｓｕｓｅｒｓｔｏｃｌｅａｎｄａｔａｆｌｅｘｉｂｌｙａｎｄｅｆ ｆｏｒｔｌｅｓｓｌｙ，ｗｉｔｈｏｕｔａｎｙｃｏｄｉｎｇ．Ｔｈｅｅｘｔｅｎｓｉｂｌｅｆｒａｍｅｗｏｒｋｈａｓｏｐｅｎａｌｇｏｒｉｔｈｍｓｌｉｂｒａｒｙ，ｏｐｅｎｆｕｎｃｔｉｏｎｓｌｉｂｒａｒｙａｎｄＦｕｚｚｙＩｎｆｅｒｅｎｃｅＳｙｓｔｅｍｂａｓｅｄ ｏｎｆｕｚｚｙｒｕｌｅａｎｄｍｅｍｂｅｒｓｈｉｐｆｕｎｃｔｉｏｎｓ，ｗｈｉｃｈｍａｋｅｉｔｕｎｉｖｅｒｓａｌａｎｄａｄａｐｔｉｖｅ．Ａｔｌａｓｔｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｐｒｏｖｅｔｈｅｆｒａｍｅｗｏｒｋ’ｓｅｆｆｅｃ ｔｉｖｅｎｅｓｓ． Ｋｅｙｗｏｒｄｓ　　Ｄａｔａｃｌｅａｎｉｎｇ　Ｄｕｐｌｉｃａｔｅｒｅｃｏｒｄ　Ｅｘｔｅｎｓｉｂｌｅｆｒａｍｅｗｏｒｋ　Ｆｕｚｚｙｉｎｆｅｒｅｎｃｅｓｙｓｔｅｍ 据进行预处理（标准化），然后通过六个步骤来消除重复记录， ０　引　言 在整个工作流程中用户可以对以下的内容做出选择： １）聚簇算法； 相似重复记录是指客观上表示现实世界的同一实体，由于