面向交通物流大数据处理的元数据管理系统-软件工程专业毕业论文.docxVIP

上海交通大学 上海交通大学 万方数据 万方数据 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文的复印件和 电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密□，在 年解密后适用本授权书。 本学位论文属于 不保密?。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 面向交通物流大数据处理的元数据管理系统 面向交通物流大数据处理的元数据管理系统 面向交通物流大数据处理的元数据管理系统 摘 要 在交通物流领域中，建立统一、高效的数据管理方式是降低运营成本、提高 数据质量、规范物流管理的迫切需要。本文以某省交通物流云平台项目为背景， 该项目包含一系列交通物流大数据处理需求，如对物流企业、应用开发商及平台 数据中心的数据进行数据整合并提供统一管理。目前，在数据整合及管理的过程 中，主要存在以下问题：1）业务元数据和技术元数据没有建立映射关系，无法对 企业异构数据源进行统一管理；2）没有将业务元数据与技术元数据结合，指导数 据整合过程；3）由于涉及到安全及隐私问题，数据整合时对企业私有数据访问困 难。 针对上述问题，本论文在对元数据标准 SDMX 信息模型、RDF 数据立方词汇 表以及数据整合等相关技术进行深入研究的基础上，提出了一个面向交通物流领 域的业务元数据模型，建立了技术元数据与业务元数据的映射，并与 ETL 工具相 结合，设计并实现一个面向交通物流大数据处理的元数据管理系统。测试及应用 表明，该系统是可行及有效的。 与其他类似系统相比，本文工作具有以下特点： 1）结合 SDMX 信息模型及 RDF 数据立方词汇表，提出了一个面向交通物流 领域的业务元数据模型，对交通物流领域的术语、业务实体等进行建模；同时建 立并维护业务元数据与技术元数据的映射关系。 2）提出了基于元数据的交通物流数据整合方法，将业务元数据应用到交通物 流领域的数据整合。在用户开发数据整合任务时，利用业务元数据与技术元数据 的映射，自动建立整合字段源和目标的匹配，简化了开发过程。 3）设计并实现了元数据管理系统，该系统包括元数据管理工具与数据整合工 具两部分。元数据管理工具提供技术元数据获取、元数据管理、元数据映射、前 置机管理及系统管理功能；数据整合工具提供数据整合任务开发与数据整合任务 执行功能。应用情况表明，该系统增强了数据管理能力并提高了数据整合效率。 关键词：元数据管理、数据整合、SDMX 信息模型 I METADATA MANAGEMENT SYSTEM FOR TRANSPORT AND LOGISTICS BIG DATA PROCESS ABSTRACT In the field of transport and logistics, establishing a unified, efficient data management way is an urgent need of reducing operating costs, improving data quality and standardizing logistics management. The paper is on the background of transport and logistics cloud platform project of a province, which contains a series of transport and logistics big data process requirements like integrating data from logistics enterprises, application developers and data center as well as managing them. So far, in data integration and management, some problems exist: 1) no mapping is established between business met