列名与数值不确定情况下的模式匹配问题研究-农业信息化专业论文.docxVIP

上 上海海洋大学硕士学位论文 万方数据 万方数据 列名与数值不确定情况下的模式匹配问题研究 摘 要 数据的集成会造成数据的不确定性。模式匹配是数据集成的基础，在匹配时 降低数据的不确定性有助于数据集成效果的提升。但是传统的基于语义的匹配效 率不高，且经常出现错误。因此，人们考虑利用专业的工具来进行匹配。然而对 于语义解析的匹配方式，其准确性还有待考量，且无法直观的描述，因此也增大 了匹配过程中的不确定性。 在模式匹配不确定性情形下，经常会有不透明模式的问题出现，这会给原来 的语义匹配方法带来难度。例如在实际列表中的值或属性名（列名）没有明确给 出，而是用一些代码表示。列名与数据值不确定在模式匹配中较为常见，目前大 多数的算法都是基于互信息及欧式空间距离，但是并没有将属性相似度相同或相 近导致匹配错误的问题考虑在内。在模式匹配不确定性研究中，本文主要研究的 是一种错误匹配问题，即属性值差异性较大的问题。针对不确定模式匹配中属性 值差异性较大导致的错误匹配问题，本文提出了混合匹配的方式进行解决，首先 提出了多重迭代筛选方法，寻找关系模式中以此匹配成功的属性对，并从中继续 寻找最优属性对，接着利用条件互信息进行匹配，并利用最优属性对未匹配属性 的条件互信息进行计算，进而得出属性间的欧式距离，最终得出结果，在上述的 过程中，提升了匹配的效率，减少了匹配的错误。 同时，为了进一步提高不确定模式匹配的准确度，进一步解决不确定模式匹 配中同一表属性值相似度分布相同情况下的特殊模式匹配问题，以及多属性关系 模式的高复杂度匹配问题，本文又提出了基于贝叶斯信息的匹配方法，构建关系 模式的贝叶斯网络，分别计算得到最优属性对的马尔科夫毯，在马尔科夫毯中使 用确定与最优属性对关系最紧密的为匹配属性对，并使用欧式距离通过加权平均 的方法确定各属性与最优属性之间的权重，计算最优属性与各属性之间的影响力， 确定剩余未匹配的匹配情况，进一步提升匹配的准确性。 I 关键词：模式匹配，不确定性，条件互信息，多重迭代筛选，贝叶斯信息， 马尔科夫毯 II Study on Schema Matching with Uncertain Column Names and Data Values ABSTRACT Data integration is a major source of uncertainty generated data. Pattern matching is a crucial step in data integration. In the pattern matching process to reduce the uncertainty of the data is important for data integration. The traditional model is based on semantic matching needs to consume a large amount of manpower and time, and error-prone. Therefore, modern people start using a semi-automatic pattern matching tools to assist the completion of pattern matching. However, it relies on the specific context of the field pattern matching cannot determine whether correct or similar standard is difficult to accurately describe the uncertainty, so that the uncertainty is inherent in the pattern matching process, unavoidable. In the case of the uncertainty of pattern matching, will encounter opaque pattern matching problem, i.e. the actual table column names (property name) or value is not given directly, but expressed some code, which gave the original semantic matching The method makes it difficult. Column names and data values ar