基于XML数据源的ETL技术的研究-计算机应用技术专业论文.docxVIP

沈阳航空工业学院硕士学位论文摘要 沈阳航空工业学院硕士学位论文 摘要 经过长期的信息化建设，使企业和组织内部产生了大量遗留系统，这些系统在实施 过程中缺乏系统性、一致性考虑，因而产生了大量异构信息。这些信息无法进行有效的 共享和交换，导致以XML为基础的信息集成平台成为信息技术发展的一种必然趋势。 信息集成过程中，数据质量难以保证，导致分析决策的可靠性降低，使得ETL(数据抽 取、转换、清洗、装载)成为一个十分重要的环节，它将源系统中的数据转换为有用的 信息用于决策支持。因此，以XML为基础的ETL技术的研究尤为重要。本文主要的研 究工作可概况为以下几个方面： 第一，在分析XML、CWM与信息集成相融合的优势基础上，提出了一种利用公共 仓库元模型CWM解决信息集成中数据抽取的方案，构建了一个基于公共仓库元模型 CWM的结构化数据信息集成架构，设计了一个公共的、独立于任何特定实现模型的元 模型基础上的Wrapper，解决了结构化数据抽取过程中由于数据源发生变化引起的 Wrapper维护问题。 第二，在分析现有XML数据相似性检测技术基础上，提出了一种节点加权与树编 辑距离相结合的检测方法，该方法通过计算XML带权树的相似度来对数据进行粗略匹 配、简单聚集，然后在每个集合中利用树编辑距离算法进行相似性检测。由于对XML 数据进行了预处理，减少了不必要的树编辑操作，因而时间复杂度大大降低。 第三，为了将理论应用于实践，在一个应用实例中进行实验模拟。构建了特种设备 整合系统的体系结构，设计了信息集成过程中数据抽取的元数据统一格式，并抽取出所 需要的XML数据。另外，为了验证本文的相似重复记录检测方法，针对不同的DTD从 底层数据库表中抽取XML数据，并对其进行相似重复检测，验证了本文提出的相关技 术。 关键词：信息集成；XML数据源；公共仓库元模型；ETL；树编辑距离；相似重复记 录 沈阳航空工业学院硕士学位论文Abstract 沈阳航空工业学院硕士学位论文 Abstract With long-term information construction，the enterprise and internal organization have produced a large number of legacy systems．These systems lack systematic and consistent considerations in them operations，SO they produced large numbers of heterogeneous information．The information Can’t share and exchange effectively,it becomes inevitable to develop the information technology based on the XML language to realize information integrated platform．In the process of information integration，it is difficult to ensure the data quality which lead to reduce reliability of decision analysis．ETL(Extract，Transform， Cleaning，Load)becomes a very important part，it will transform data of source systems to useful information using for decision support．So the study of ETL technology based on the XML language is particularly important．This paper Can be summarized as the following few contents： Firstly,it proposes an extraction scheme in information integration by Common Warehouse Metamodel(CWM)based on analyzing the advantages of the combination of XML，CWM and information integration；structured information integration frame—work based on Common Wareh