元数据结构下统计审核实现探讨.pdfVIP

元数据结构下统计审核实现探讨 李婧 华北计算机系统工程研究所，北京 (100083) E-mail ：lijing432@ 摘 要：本文针对复杂统计业务提出了基于元数据的统计审核实现方法，利用 LUA语言进行 编程实现，简要概述了实现方法。 关键词：元数据，LUA，审核，语法规则 中图分类号：TP311 1. 引言 在政府统计领域中，由于统计业务的时效性特点，统计数据的报送时间特别集中，以制 度报表为例，数据报送时间大多集中在月末、季度末、年末的一周左右时间。需要报送的企 业数据量大，一般市级单位在 10 万家左右，而且原有的固定统计报表的统计条件也可能随 着业务的变化而发生改变。为了让用户可以根据业务和管理上的需求和变化，灵活定制并能 统计、输出所需要的统计报表，显得十分重要。针对数据采集时时间集中、数据量大、审核 关系复杂的问题，提出并实现了以元数据为结构的统计审核方法，解决了报表灵活定制的问 题。 审核是统计业务中保证数据质量的一个关键步骤[1] 。从统计业务流程上看，数据录入时 要边录边审；下级统计机关向上级统计机关报数前需要集中审核；下级统计机关将上级统计 机关报送的数据加载到业务数据库前要进行数据验收审核。数据审核关系复杂。为保障数据 质量，统计数据在采集的过程中要进行大量的审核和校验，包括：数据合法性校验、表内数 据关系审核、表间数据关系审核、（年度、月度）同期历史数据关系审核等等。为了更好的 支持数据网报中大用户量的并发访问，提出了用LUA 语言进行编程控制。 国外同类产品的总体技术水平基本上没有超越国内同类产品，由于国情不同，国外的产 品不能很好适应报表制度的频繁变化，在业务处理流程上也显得有些僵化。这方面比较典型 的代表产品就是早先引入国内的美国普查局的CSPro 系统。 2. 元数据 目前，统计行业中的审核有基于元数据和基于报表的两种结构。基于报表结构的模式， 是以统计报表为单位，这种结构不够灵活，如果报表指标发生变化，则原来的报表就不能使 用，而基于元数据的模式，是以最基本的数据为单位。 2.1 元数据的概念 [3] 元数据（meta data ）是从数据发展而来 ，被定义为“数据的数据”，有广义元数据和 狭义元数据之分。广义元数据指帮助查找、存取、使用和管理资源的信息；而狭义元数据指 一种专门用于定义和描述其他数据特征和属性的特定数据，它提供了一种定义元素的规范结 构。 在统计核心业务系统中，共建立了指标、目录、报表、规则、制度、标识六类业务元数 据。我们以指标元数据为例，可以用指标中文名称、指标解释、指标专业分类代码等20 多 个指标类元数据来全面描述某一指标，由此实现了平台中所有指标的唯一定位。统计核心业 - 1 - 务系统通过这种元数据的管理模式，有利于数据资源的整合、管理和存储，也有助于人们对 统计数据的理解，大大提高了统计数据的实用性和共享性。 2.2 元数据的好处 统计核心业务系统通过建立六类业务元数据，统一确定业务管理标准，有利于优化统计 业务流程、提高统计数据质量、共享统计数据资源。 2.2.1 优化业务流程 统计业务流程通过核心业务系统得以实现[2]，并构成了该系统建设的一条主线。在该平 台中，通过规划和设计统一的六类元数据，确保了整个统计业务流程中所有元素的唯一性、 规范性和标准性，理顺了后期数据采集、存储、应用、发布等一系列业务流程，减少了人为 因素的影响，使业务管理工作进一步规范。 2.2.2 提高数据质量 在影响统计数据质量的因素中，统计调查指标名称、口径以及分类方法的频繁变动就是 其中的一个重要因素，影响了数据的连续性和历史可比性。此外，各专业指标含义的不一致， 也对数据汇总带来一定的麻烦。新平台上采用的元数据管理模式，保障了同一指标含义、口 径、范围的统一，促进了数据质量的提高。 2.