数据集成中数据项与数据元匹配算法-计算机系统应用.PDF

计 算 机 系 统 应 用 2012 年 第 2 1 卷 第 3 期 数据集成中数据项与数据元匹配算法① 文必龙，付 玥 (东北石油大学 计算机与信息技术学院，大庆 163318) 摘 要：近年来，随着数据元标准的建立，数据元在各行各业的数据集成过程中担任着重要角色，用于规范数 据库、报表、文档中的数据项，实现各种数据源之间的映射。分析数据元的结构，提出一种数据项与数据元匹 配算法，该算法基于编辑距离算法，融合最长公共子序列、权重、词语重心后移等思想，实现数据项与数据元 字典中数据元的相似度计算，利用排列组合原理对匹配速度进行优化。以中石化标准数据元为实验数据进行实 验，验证了该匹配算法的有效性。 关键词：编辑距离；最长公共子序列；相似度计算；数据元；权重 Matching Algorithm Between Data Item and Data Element During Data Integration WEN Bi-Long, FU Yue (School of Computer and Information Technology, Northeast Petroleum University, Daqing 163318, China) Abstract ：In recent years, with the establishment of data element standard, data element plays important role during data integration in many enterprises. Data element may standardize dataitems of databases, reports and documents. It may help mapping between data sources. Analyzing the compositions of data element and putting forward a kind of matching algorithm between dataitem and data element. The matching algorithm is based on levenshtein distance and fused the thought of longest common subsequence, weight and backward focus. It realizes similarity calculation between dataitem and data element of data element dictionary. It uses the permutation and combination principle to optimize matching speed. The experiments have proved that the matching algorithm was right through using the standard dataitems of China Petroleum and Chemical data element dictionary as experimental data. Key words: levenshtein distance; longest common subsequence; similarity computation; data element; weight 随着企业的不断进步与发展，企业内部数据的存 解决的问题。数据集成可以把不同来源、格式、特点 [2] 储和表示呈现出分布性、异构性的特点，不仅包括企 性质的数据在逻辑上或物理上有机地集中 ，实现企 业内、外关系数据库等传统结构化数据，还包括 Excel 、 业数据共享，为“数据孤岛”架一座桥梁。 Xml 、Html 等半结构化数据，以及声音、图像