多模式数据融合中数据质量控制方法的研究与实现-计算机技术专业论文.docxVIP

- 苏州大学学位论文使用授权声明 本人完全了解苏州大学关于收集、保存和使用学位论文的规定， 即z 学位论文著作权归属苏州大学。本学位论文电子文挡的内容和纸 质论文的内容相一致.苏州大学有权向国家图书馆、中国社科院文献 信息情报中心、中国科学技术信息研究所〈含万方数据电子出版社〉、 中国学术期刊〈光盘版〉电子杂志社送交本学位论文的复印件和电子 文挡，允许论文被查阅和借阅，可以采用影印、缩印或其他复制手段 保存和汇编学位论文，可以将学位论文的全部或部分内容编入有关数 据库进行检索， 涉密论文口 本学位论文属 在一一一年一-月解密后适用本规定。 非涉密论文口 论文作者签名 z 日 期z 导师签名z 期=  J._，IJ-ι 飞P -;YO r川沙 多模式数 多模式数据融合中数据质量控制方法的研究与实现 摘要 I I 多模式数据融合中数据质量控制方法的研究与实现 摘 要 随着互联网信息技术的迅猛发展，越来越多的数据以多种多样的形式存放在不 同数据集中，如何将这些数据进行有效关联和统一已经成为当今大数据环境下的重 要问题。 对不同组织形式，即不同模式下的数据进行关联融合与统一的过程称之为 多模式数据融合。 现如今很多互联网在线商业系统如一淘网、 去哪儿网等的核心技 术问题之一即为多模式数据融合问题。 然而，不同数据集中数据的不一致、 缺失等 质量问题使得融合过程困难重重，如果不加控制往往会导致融合后的数据有更多更 严重的数据质量问题。 本文研究多模式数据融合的相关技术和方法并实现了融合系 统――SmartInt以解决融合数据的质量问题，具体内容包括以下几方面： （1）分析和研究现有数据融合的相关技术和方法。 本文重点研究数据融合中模 式映射与记录匹配两个关键步骤，并实现数据融合的一些常用算法。 在记录匹配中， 本文采用一种基于类决策树的记录匹配算法，从而大大提升了匹配效率并在一定程 度上提高了匹配的准确率。 （2）提出交互式融合算法。 该算法对多个数据集中的数据交互地进行模式映射 与记录匹配两个关键步骤，从而达到了较好的融合效果，并有效地解决了融合过程 中的数据质量问题。 （3）以交互式算法为核心实现SmartInt系统。 本系统以手机数据集为例展示了 数据融合过程中模式映射与记录匹配的交互过程，以及每次交互所产生的融合效果。 此外，我们把相关方法和系统应用到多个房源数据的融合上，进一步验证和展示了 本系统的实用意义和价值。 本文对多模式数据融合中数据质量控制的方法进行了深入的研究，并通过本系 统较好地完成了多模式数据融合，这对相关研究与工作具有广泛的研究意义及实用 价值。 关键词： 数据融合，模式映射，记录匹配 作 者： 蒋俊 指导教师： 李直旭 ABSTRACT ABSTRACT Data quality control methods in integrating heterogeneous data sources Research and Implementation of the data quality control methods in integrating heterogeneous data sources Abstract With the rapid development of the information technology, tremendous volume of data in various forms is stored in different data sets. How to effectively link and unify these data has become an increasingly important issue in the big data era. The process of merging and unifying these heterogeneous data sets is known as multi-schema data integration. Many online web sites, such as eT and , take data integration as one of the core techniques in their online business systems. However, data quality problems, such as da- ta inconsistencies and missing values, make it hard to integrate these data. The problems above, if not handled well, will