面向银行建仓的基于元数据技术的数据处理系统的实现-软件工程专业毕业论文.docxVIP

面向银行建仓的基于元数据技术的数据处理系统的实现软件工程 面向银行建仓的基于元数据技术的数据处理系统的实现 软件工程 硕士生：陈永涛 指导老师：倪德明副教授 摘要 源数据的转换和清理是建立数据仓库的关键步骤。在本公司的实际工作中。经常会发 现不同需求、不同数据仓库建立过程中的数据转换和数据清理都有一定的相似之处。作者 认为，通过对大量不同需求的不同数据仓库建立过程中的数据转换和清理进行分析，可以 将数据转换和清理总结归纳为若干种常见的类型，从而可以使用这些类型表示绝大部分的 建仓数据处理需求。只要解决了这些类型的数据转换和清理的问题，就基本上解决了本公 司建立数据仓库过程中需要人工设计和编写数据处理程序的问题。因此，本文提出了一种 基于元数据技术的数据处理方法。其基本思路是：通过将建仓方案的数据处理需求对应地 转换为元数据，然后根据这些元数据生成数据处理程序。本文力求利用元数据技术把不同 类型的数据处理需求统一起来，得到一种适用于银行数据处理的通用的方法，以达到提高 工作效率、减少人工误差以及提高数据仓库中数据质量的目标。 本文的主要内容是通用数据处理(Universal Data Processing，简称UDP)系统的设计 思想和实现方法。文中首先介绍了当今国内外流行的数据仓库建立技术及本公司目前数据 仓库建立过程中所遇到的问题；接着分析了公司以往实际开发过程中数据转换和清理的常 见类型，并结合PRO·C、PL／SQL和动态SQL等技术使用元数据表示这些类型；再重点 阐明了如何在系统中使用这些元数据生成相应的数据处理源程序，经过预编译、编译和连 接后得到可执行程序，并使用此程序进行数据处理的过程；最后举例说明了系统的使用方 法，并对其有效性进行了验证。 关键词：数据仓库，元数据，数据转换，数据清理，PRO·C Implementation Implementation of Metadata—based Data Processing System For Banking Data Warehouse Software Engineering Name：Yongtao Chen Supervi sor：Associate Prof．Deming Ni ABSTRACT Data transformation and data cleaning two vital steps in building data warehouse．In the daily work of CSTS，data transformation and data cleaning in different requirements and different data warehouse projects quite similar．It is reasonable to consider that DT and DC bc categorized to several frequently occurred types throngh analyzing numbers of different requirements of diverse data warehouse projects．Most of the difficulties of manually designing and developing data processing applications in building data warehouses will be resolved we find way to handle these frequently occurred types of DT and DC．Grounded this thinking，this article puts forward method for data processing in building data warehouses based metadata technique．Its main idea is：first we conveg data processing requirement in building data warehouse into different types of metadata，and then these metadata to generate data processing application．A prototype of Universal Data Processing CooP)system was developed according to this metadata method，which not only improv