辽宁省交通行业数据管控平台设计与开发的研究.docVIP

辽宁省交通行业数据管控平台设计与开发的研究 　　摘 要： 完善数据管控在交通行业的应用是辽宁省交通信息化建设面对的一个大问题。以辽宁省交通行业为研究背景，结合相关数据规范，建立了省交通行业数据资源管控平台。根据实际应用的要求，将该平台划分为元数据管理、数据质量管理、数据库管理和系统管理四部分，研讨了各部分的功能。结合辽宁省交通行业实际，解决数据管理与控制的问题，从而整体提升数据管理水平，促进信息化健康发展。 　　关键词： 数据管控； 交通行业； 元数据； 数据质量 　　中图分类号：TP315 文献标志码：A 文章编号：1006-8228（2017）02-20-04 　　0 引言 　　辽宁省初步实现公路管理、水路运输、道路运输等行业信息资源的应用。但由于信息化应用中很多业务系统在建设之初没有遵循数据标准规范进行设计，以及承建厂商技术实力、管理能力差异等，使得现阶段的行业数据资源存在着较多质量问题，行业数据标准化的深入应用面临困境。因此，加强行业数据管控，提升行业信息资源数据管理，成为现阶段亟待解决的问题。本文基于交通运输部交通信息数据标准，以辽宁交通行业实际情况，制订了辽宁省地方交通行业数据规范与制度；建立统一数据资源管控平台，实现行业数据资源的管理、控制与共享。 　　1 需求分析 　　本项目为了顺利完成辽宁省交通行业数据质量管控平台开发任务，通过前期详细的需求调研，对现有和在建的全省各业务系统做了全面的摸底调查，了解各系统的数据结构、数据采集、数据应用方式等，在此基础上，对分散在交通行?I各部门的数据资源进行梳理，并按照统一的规范进行分级分类和标准化，形成符合应用需要的交通行业数据资源管控的实际功能需求，具体如下。 　　⑴ 利用交通部交通信息数据元标准及我省相关地方规范等，实现各业务系统元数据检测、版本管理，作为数据质量管控的主要依据。 　　⑵ 结合行业数据资源现状和管理分级分类的要求，建立省数据资源目录体系，快速精确查询各业务系统数据库结构及其字段的定义内容，为省数据资源体系奠定基础。 　　⑶ 以交通部相关标准及地方规范等，进行数据质量治理，对现有已接入我省各业务系统的数据资源质量状况进行剖析和评估，形成数据质量报告。 　　⑷ 依托于数据管控平台，实现对于我省现有数据资源进行监控分析。 　　2 系统设计 　　为实现对行业数据资源相应的管理手段，形成完整的交通行业数据管控体系。数据管控平台设计纵向分为获取层、资源层、功能层、应用层，平台系统功能架构如图1所示。 　　⑴ 获取层 　　获取层位于整个体系架构的最底层，元数据获取层抽象概括了元数据获取的各种途径。业务和管理元数据通常以手工方式获取；技术元数据覆盖数据源系统以及我省各业务系统数据的整个生命周期，要求以自动方式获取，如数据字典和数据模型等。 　　⑵ 资源层 　　资源层定义了元数据存储所遵循的元模型，规范从获取层得到的各类元数据的属性要求和存储格式要求，包括业务元数据、技术元数据和管理元数据。 　　⑶ 功能层 　　功能层为前端元数据应用提供了基本的功能支撑，包括元数据管理维护、元数据权限管理、元数据分析应用、剖析与验证规则管理、质量评估模型管理、质量报告生成管控日志管理等。 　　⑷ 应用层 　　在功能层的支持下，应用层通过调用功能层的功能，对质量管控的实际问题提供应用解决方案，包括元数据人工登记、元数据服务、数据源管理、剖析与验证过程监控、质量报告生成发布、系统管控告警等。 　　为达到省交通厅现阶段数据管控的要求，系统实现的功能需求，分为元数据管理、数据质量管理、数据库管理和系统管理等大部分。 　　3 系统环境 　　3.1 系统开发环境 　　该平台将采用基于J2EE的体系在ORACLE数据库上进行开发，运用BS架构的前段展示界面加CS架构的后台任务支撑相结合的方式。后台管控平台将使用数据交换平台实现，所有管控平台业务层面所涉及到的数据分析都将基于数据交换台进行开发。而管控平台本身则负责对所有任务的管理。并且负责展示所有数据分析的结果。 　　3.2 关键技术 　　⑴ TOGAF规划方法论体系 　　本项目采用Togaf对管控平台进行规划。开放组架构框架（The Open Group Architecture Framework，TOGAF）是一套通用框架，通过详细的方法论和一系列工具，定义架构的内容具体以架构内容框架为参考。 　　⑵ 大数据处理技术 　　本平台中数据交换采用分布式计算技术和弹性计算来支撑对海量数据的多节点并行高效抽取、转换与装载。通过对分布式计算技术的应用，使平台中的主交换服务器与交换节点服务器之间形成了分布式架构体系，随着海量数据处理需求的变化，可以任意扩展或收缩交换节点服务器，从而实现对海量数据的