面向结构化数据的实体解析方法-计算机应用技术专业毕业论文.docxVIP

万方数据 万方数据 分类号： 密级： U D C ： 编号： 工学硕士学位论文 面向结构化数据的实体解析方法 硕士研究生 ：王超文 指 导 教 师 ：王念滨 教授 学 位 级 别 ：工学硕士 学科、专业 ：计算机应用技术 所 在 单 位 ：计算机科学与技术学院 论文提交日期 ：2014 年 1 月 2 日 论文答辩日期 ：2014 年 3 月 10 日 学位授予单位 ：哈尔滨工程大学 Classified Index: U.D.C: A Dissertation for the Degree of M. Eng Structured Data Oriented Entity Resolution Methods Candidate: Wang Chaowen Supervisor: Prof. Wang Nianbin Academic Degree Applied for: Master of Engineering Specialty: Computer Application Technology Date of Submission: Jan. 2, 2014 Date of Oral Examination: Mar. 10, 2014 University: Harbin Engineering University 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本人独立完成的。 有关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中已注 明引用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。 作者（签字）： 日期： 年 月 日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期间论文工作 的知识产权属于哈尔滨工程大学。哈尔滨工程大学有权保留并向国家有关部门或机构送 交论文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进 行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的 全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一 署名单位为哈尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文（□在授予学位后即可 □在授予学位 12 个月后 □解密后）由哈尔滨工 程大学送交有关部门进行保存、汇编等。 作者（签字）： 导师（签字）： 日期： 年 月 日 年 月 日 面向结构化数据的实体解析方法 摘 要 实体解析是一种在结构化和非结构化数据中抽取、匹配与合并代表着同一现实世界 实体的数据的处理过程。尤其在大数据时代，实体解析问题是数据库管理、信息检索、 机器学习、自然语言处理与统计等领域的一个长期存在的挑战。实体解析具有很多别名， 如记录链接、去重、交叉引用解析、引用调解、对象巩固等。精确与快速的实体解析在 商业、科学、安全等领域的诸多方面具有重大的实际意义。反之，低质的实体解析通常 会带来诸多问题。比如，实体解析不好，会导致重复数据的存在，它会扭曲从数据中获 取的信息，也为后续的数据挖掘、建立决策支持系统、应用商务智能等带来隐患。 由于面向非结构化的实体解析通常都特定于应用，而本文旨在研究更具有通用性的 实体解析方法，所以本文将关注点放在面向结构化的实体解析。此外，匹配与合并函数 均被视为黑盒，不关注其内部实现细节，关注的是如何尽可能少地减少匹配与合并函数 的调用次数。具体而言，(1) 针对无置信度的数据集，通过训练提取出匹配核，然后对 匹配核进行统计学习，再依据学习结果对数据集分块。分块的目的是隔离块与块之间的 记录，将记录的比较限制在块内，从而减少了匹配与合并函数的调用，提高了实体解析 的效率。(2) 针对带置信度的数据集，因为记录的合并顺序不同可能导致最终结果不同， 所以实体解析需要考虑记录的所有合并方案并从中选取最佳方案。本文通过训练获得置 信度合并词典，在判断哪种合并方案最佳时，通过置信度合并词典就可以大大减少合并 函数的调用，从而使得实体解析的性能得到了提升。此外，本文提出了一种带置信度的 实体解析的框架思想。 最后通过实验表明了记录分块的有效性、置信度合并词典带来的性能提升以及带置 信度的实体解析的框架思想的可行性。 关键词：匹配核；分块；合并词典；BUBBLE 哈尔滨工程大学硕士学位论文 面向结构化数据的实体解析方法 Abstract Entity resolution is a technology that extracts, matches and merges records