元数据技术论文数据查询引擎技术论文.docVIP

元数据技术数据查询引擎技术基于元数据的数据查询引擎技术研究 摘要：元数据技术是目前数据集成的主流技术，通过分析中石化科研管理系统，对元数据标准CWM、元模型和相关技术的研究，定义系统的元数据标准，设计并建立了中石化科研管理系统元数据库，实现了基于元数据的数据整合。通过基于元数据的科研项目定制查询引擎技术研究，建立了可定制的通用数据访问模型，实现了通用的数据查询引擎。 　　关键词：元数据；提取转换；查询引擎 　　1 引言 　　在元数据标准CWM中，元数据定义为关于数据的数据，是描述数据及其环境的数据。 　　2 系统元数据分析与模型建立 　　2.1 科研项目元数据标准 　　通过对系统元数据的定义需求，确定本系统元数据库中元数据的定义标准： 　　（1）基本属性：包括元数据项名称、名称缩写、唯一标识、含义、类型、精度、计量单位、是否主键、所属元数据项标识、可否用于检索。 　　（2）数据映射及提取定义：包括元数据来源于哪个数据库，来源于指定数据库的那个对象，对象可以是表、视图、存储过程等。 　　2.2 科研项目系统元数据建模 　　图1 元数据库架构 　　科研项目元数据库建模包含两部分内容：元数据字典建模和元数据。 　　2.2.1元数据字典 　　元数据以科研项目元数据库中数据基本单元为单位，按一定顺序排列，对其内容作详细说明的数据集，元数据字典中存放着元数据库中所有数据的定义，即对所有元数据库对象结构的描述（名称、标识、含义、类型、数据大小、格式、度量单位、精度以及允许取值范围等），它提供了对科研项目元数据库数据描述的集中管理手段。 　　2.2.2 元数据 　　科研项目管理系统中的元数据包括了面向查询统计领域的所有数据实体及实体构成元素项，元数据库中的数据并不是来源数据库数据的简单复制，是面向查询特定领域的按照业务元数据标准组织的，在确定这些实体及实体所包含的元素时，遵循了以下原则： 　　(1) 编码屏蔽原则：由于该元数据库是面向查询的，因此在数据从来源数据库中提取转换到元数据库时，只保留编码代表的语义信息。 　　(2) 元数据数据项为最终项原则：即元数据中的每一项数据都为最终结果，而不包括中间数据。 　　(3) 对于需要汇总的数据，需在元数据库中进行定义，汇总结果在数据提取转换过程中完成，查询时只是取得一个汇总结果数据。 　　2.3 元数据存储及提取与转换 　　在本系统中，科研项目元数据以数据库中表的形式存放，对应元数据的逻辑划分，在数据库中建立了相应的数据表以存放元数据。 　　确定了元数据的存储方式并建立相关表后，须将元数据从源头数据库中提取到元数据库中。在数据提取环节通过SQL Server的DTS工具组件完成了数据从源头库到元数据库的提取功能。建立了四个数据提取包即：项目数据提取包、奖励数据提取包、鉴定数据提取包、外事项目提取包，分别完成相关元数据的提取任务。 　　3 基于元数据的科研项目定制查询引擎设计 　　3.1 基于元数据的科研项目定制查询引擎设计 　　3.3.1 查询定制器 　　定制处理器完成了查询的定义功能，它的定义功能是建立在元数据库基础上的，同时可将查询的定制数据记录到数据库表中。查询定制器从一个查询最基本的构成要素考虑，包含查询的范围（表集合）、表连接联系、筛选条件等方面的定义 。 　　（1）查询的数据来源：即来源于哪些元数据体，元数据体的哪些元素。 　　（2）查询条件定义：查询条件是通过定义select 语句的Where 子句内容实现的, 包括每一查询条件的数学运算与查询条件的逻辑运算。查询条件的数学运算主要指“等于”、“大于”、“小于”、“包含”、“匹配”五种运算的实现, 当查询条件多于一个时彼此之间存在逻辑运算关系“and”和“or”, 独立的查询条件通过逻辑运算关系组织进来, 构成复合查询条件关系。 　　（3）元数据体之间的连接关系，实现了内连接、左外连接、右外连接、全外连接、矢量积连接等连接功能。 　　3.3.2 数据访问处理 　　包括查询命令生成器、查询命令解析、查询命令执行器三部分。其中查询命令解析是实现查询器最重要的一部分,语法分析的正确与否直接关系到检索结果的内容是否能达到用户的要求。 　　DML 语句包含的子句有SELECT , FROM, WHERE , GROUP BY, HAVING,ORDER BY 等。通过查询命令执行器调用定制好的查询命令，在数据库中执行，并返回XML格式的数据文件。 　　3.2 基于元数据的科研项目定制查询引擎服务软件 　　该软件以服务的方式安装在服务器上，其总体功能为执行查询，并生成查询结果，查询结果以XML文件的方式进行输出。 工作计划一、近期 　　今年是在新的工作岗位工作的年，是熟悉工作，履职，方法，积累经验的一年，年中“转变，”，即转变工作角色，工作职责。