基于长度过滤和动态容错的SNM改进算法.PDFVIP

第３４卷第１期 计 算 机 应 用 研 究 Ｖｏｌ．３４Ｎｏ．１ ２０１７年１月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｊａｎ．２０１７ 基于长度过滤和动态容错的ＳＮＭ改进算法 １，２，３ １，２ １，２ 刘雅思 ，程　力 ，李　晓 （１．中国科学院新疆理化技术研究所，乌鲁木齐 ８３００１１；２．新疆民族语音语言信息处理实验室，乌鲁木齐 ８３００１１；３．中国科学院大学计算机与控制学院，北京 １０００４９） 摘　要：数据仓库中相似重复记录的清洗对于数据质量影响很大，传统的基本邻近排序算法（ｓｏｒｔｅｄｎｅｉｇｈｂｏｒ ｈｏｏｄｍｅｔｈｏｄ，ＳＮＭ）时间效率和准确率均不高。针对ＳＮＭ算法的缺陷，提出了一种基于长度过滤和动态容错的 ＳＮＭ改进算法。根据两条记录的长度比例和属性缺失情况，首先排除一部分不可能构成相似重复记录的数据， 减少比较次数，提高检测效率；进一步提出了动态容错法，校准字段相似度评判结果，解决了因属性缺失而误判 的问题，提高了准确率。针对实际数据集的实验分析表明，在相同的运算环境下，优化算法在准确率和时间效率 上有明显优势。 关键词：数据清洗；相似重复记录；ＳＮＭ算法；动态容错；字段匹配 中图分类号：ＴＰ３９１．１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１７）０１０１４７０４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１７．０１．０３１ ＩｍｐｒｏｖｅｄＳＮＭａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｌｅｎｇｔｈｆｉｌｔｅｒｉｎｇａｎｄｄｙｎａｍｉｃｆａｕｌｔｔｏｌｅｒａｎｃｅ １，２，３ １，２ １，２ ＬｉｕＹａｓｉ ，ＣｈｅｎｇＬｉ ，ＬｉＸｉａｏ （１．ＸｉｎｊｉａｎｇＴｅｃｈｎｉｃａｌＩｎｓｔｉｔｕｔｅｏｆＰｈｙｓｉｃｓ＆Ｃｈｅｍｉｓｔｒｙ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｕｒｕｍｑｉ８３００１１，Ｃｈｉｎａ；２．ＸｉｎｊｉａｎｇＬａｂｏｒａｔｏｒｙｏｆＭｉ ｎｏｒｉｔｙＳｐｅｅｃｈ＆ＬａｎｇｕａｇｅＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇ，Ｕｒｕｍｑｉ８３００１１，Ｃｈｉｎａ；３．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒ＆ＣｏｎｔｒｏｌＥｎｇｉｎｅｅｒｉｎｇ，ＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎｅｓｅ ＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００４９，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｄａｔａｗａｒｅｈｏｕｓｅｓｙｓｔｅｍｓ，ｃｌｅａｎｉｎｇｓｉｍｉｌａｒａｎｄｄｕｐｌｉｃａｔｅｄｒｅｃｏｒｄｓｃｏｕｌｄｅｆｆｅｃｔｉｖｅｌｙｉｍｐａｃｔｄａｔａｑｕａｌｉｔｙ．Ｔｒａｄｉ ｔｉｏｎａｌＳＮＭ（ｓｏｒｔｅｄｎｅｉｇｈｂｏｒｈｏｏｄｍｅｔｈｏｄ）ｈａｓｐｅｒｆｏｒｍａｎｃｅｉｓｓｕｅｓｗｉｔｈｔｉｍｅｅｆｆｉｃｉｅｎｃｙａｎｄａｃｃｕｒａｃｙｒａｔｅ．Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅ ｉｔｓｐｅｒｆｏｒｍａｎｃｅ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｎｅｎｈａｎｃｅＳＮＭａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｌｅｎｇｔｈｆｉｌｔｅｒｉｎｇａｎｄｄｙｎａｍｉｃｆａｕｌｔｔｏｌｅｒａｎｃｅ（ＬＦ ＳＮＭ）．Ｆｉｒｓｔｌｙ，ｉｔｉｍｐｒｏｖｅｄｔｈｅｄｅｔｅｃｔｉｏｎｅｆｆｉｃｉｅｎｃｙｂｙｅｘｃｌｕｄｉｎｇｔｈｅｒｅｃｏｒｄｓｗｈｉｃｈｗｅｒｅｉｍｐｏｓｓｉｂｌｅｔｏｂｅｄｕｐｌｉｃａｔｅｄａｃｃｏｒｄｉｎｇ ｔｏｔｈｅｌｅｎｇｔｈｐｒｏｐｏｒｔｉｏｎａｎｄａｔｔｒｉｂｕｔｅａｂｓｅｎｃｅｏｆｔｗｏｒｅｃｏｒｄｓ．Ｔｈｅｎ，ｉｔｃａｌｉｂｒａｔｅｄｆｉｅｌｄｓｉｍｉｌａｒｉｔｙｒｅｓｕｌｔｓｕｓｉｎｇｄｙｎａｍｉｃｆａｕｌｔｔｏ ｌｅｒａｎｃｅｍｅｔｈｏｄ．Ｉｔｅｎｓｕｒｅｄａｃｃｕｒａｃｙｅｖｅｎｔｈｏｕｇｈｓｏｍｅａｔｔ