一种面向Deep Web数据源的重复记录识别模型.pdf 7页

第 期 电 子 学 报 ２ Ｖｏｌ．３８ Ｎｏ．２ 年 月 ２０１０ ２ ＡＣＴＡＥＬＥＣＴＲＯＮＩＣＡＳＩＮＩＣＡ Ｆｅｂ． ２０１０ 一种面向ＤｅｅｐＷｅｂ数据源的重复记录识别模型 申德荣，刘丽楠，寇 月，聂铁铮，于 戈 （东北大学信息科学与工程学院，辽宁沈阳 １１０００４） 摘 要： 重复记录是指描述现实世界中同一实体的不同的记录信息 由于从同一个领域的不同 数据 ． ＤｅｅｐＷｅｂ 源中抽取的记录信息通常存在许多重复记录，本文针对半结构化的重复记录的识别进行研究 在已知全局模式和全局 ． 模式与各 数据源查询接口映射关系的基础上，提出了一种重复记录识别模型 基于从 中抽取出的 ＤｅｅｐＷｅｂ ． ＤｅｅｐＷｅｂ 半结构化的数据，采用查询探测方法确定所抽取数据所匹配的属性，通过分析抽取的实例数据确定属性重要度，结合 多种相似度估算器和多种算法计算记录间的相似度，进而识别重复记录 实验表明，该重复记录识别模型在 ． ＤｅｅｐＷｅｂ 环境下是可行且有效的． 关键词： 重复记录；深层 ；数据清洗 ｗｅｂ 中图分类号： 文献标识码： 文章编号： （ ） ＴＰ３９１ Ａ ０３７２２１１２２０１００２０２７５０７ ＡＤｕｐｌｉｃａｔｅＲｅｃｏｒｄｓＩｄｅｎｔｉｆｉｃａｔｉｏｎＭｏｄｅｌｆｏｒＤｅｅｐＷｅｂＤａｔａＳｏｕｒｃｅｓ ， ， ， ， ＳＨＥＮＤｅｒｏｎｇＬＩＵＬｉｎａｎＫＯＵＹｕｅＮＩＥＴｉｅｚｈｅｎｇＹＵＧｅ （ ， ， ， ， ） ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎａｎｄＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙＳｈｅｎｙａｎｇＬｉａｏｎｉｎｇ１１０００４Ｃｈｉｎａ ： Ａｂｓｔｒａｃｔ Ｄｕｐｌｉｃａｔｅｒｅｃｏｒｄｓａｒｅｍｕｌｔｉｐｌｅｄｉｆｆｅｒｅｎｔｒｅｃｏｒｄｓｄｅｓｃｒｉｂｉｎｇｔｈｅｓａｍｅｅｎｔｉｔｙｉｎｔｈｅｒｅａｌｗｏｒｌｄ．Ｓｉｎｃｅｓｏｍｅｏｆｔｈｅ ， ｒｅｃｏｒｄｓｅｘｔｒａｃｔｅｄｆｒｏｍｄｉｆｆｅｒｅｎｔＤｅｅｐＷｅｂｓｏｕｒｃｅｓｉｎｔｈｅｓａｍｅｄｏｍａｉｎｕｓｕａｌｌｙａｒｅｄｕｐｌｉｃａｔｅｓｔｈｅｐａｐｅｒｆｏｃｕｓｅｓｏｎｄｕｐｌｉｃａｔｅｒｅｃｏｒｄｓ ｉｄｅｎｔｉｆｉｃａｔｉｏｎａｎｄａｄｕｐｌｉｃａｔｅｒｅｃｏｒｄｓｉｄｅｎｔｉｆｉｃａｔｉｏｎｍｏｄｅｌｉｓｐｒｏｐｏｓｅｄｏｎｔｈｅｂａｓｉｓｏｆｋｎｏｗｎｇｌｏｂａｌｓｃｈｅｍａａｎｄｔｈｅｒｅｌａｔｉｏｎｓｈｉｐ