数据中心系统应用功能设计开发方案及实施方案.docxVIP

数据中心系统应用功能设计开辟方案及实施方案 金信工程数据中心系统由五大功能构成：数据采集整 合、数据管理、数据共享交换、数据应用服务、数据运行维 护。 数据采集整合主要包括数据接收、 数据抽取、 数据转换、 数据载入功能； 数据管理维护主要包括检查规则配置、数据质量检查、 检查结果管理、合标性检查、一致性检查、数据管理报告功 能； 数据共享交换主要包括基本接口服务、服务对象管理、 服务内容管理、服务发布管理、交换服务管理功能； 数据应用服务主要包括通用查询、高级查询、查询结构 展示、常规报表、灵便报表、全文检索功能； 数据运行维护主要包括基础配置管理、数据标准管理、 转换映射管理、 数据情况统计、 元数据管理、 运行调度管理、 数据应用配置功能。 1.1.数据采集整合子系统 数 数据 接收 数据 抽取 数据采集整合子系统 数据 转换 数据 载入 数据 接收 反馈 入 果 馈 载 结 反 据 入 数 载 据 换 果 馈 数 转 结 反 据 换 则 理 数 转 规 管 据 合 则 理 数 整 规 管 据 配 则 理 数 匹 规 管 据 洗 则 理 数 清 规 管 据 验 则 理 数 校 规 管 据 取 果 馈 数 抽 结 反 据 取 间 置 数 抽 时 设 数据 抽取 频率 设置 据 取 式 置 数 抽 方 设 数据 抽取 数据 源设 置 数据 接收 方式 设置 数据采集整合将从深圳市市场监督管理局的各个业务 系统采集数据，并对数据进行清洗与整合，按照信息化标准 规范化数据格式存储于市局数据中心数据库。 数据采集是数据中心对数据抽取的基础操作。数据采集 模块可链接各业务系统数据库，通过设置采集频率和采集方 式，配置存储位置，定时获得各业务数据的增量数据，并经 过数据的校验与审核，获得正确、规范的业务数据。 数据整合是对进入数据中心采集库的数据进行匹配、转 换、整合等工作。按照市场监督管理业务的规则，对跨表、 跨业务主题具有逻辑关系的数据进行清洗和验证，清晰修正 冗余错误数据；按照数据中心系统的数据库设计，转换和整 合业务数据格式，按照总局数据标准进行存储。进入数据中 心且完成整合的数据可直接用于对用户或者各业务系统提供 数据服务。 1.1.1.数据接收 数据接收功能是通过部署配置数据库接收软件，接收来 自外部数据交换库交换来的数据。通过数据接收设置，设置 数据的接收方式以及数据接收后的存储空间和格式。根据源 数据的格式和内容， 对交换来的数据进行筛选、 转换、 匹配， 形成数据中心格式的数据库。数据接收功能包括数据接收方 式设置与数据接收反馈。 1.1.1.1.数据接收方式设置 数据中心交换数据分为结构化数据和非结构化数据，接 收方式设置可分别设置数据接收方式和数据接收存储位置 等。 1.1.1.2.数据接收反馈 将数据接收的结果进行反馈。 1.1.2.数据抽取 数据抽取功能是对数据中心抽取所需的源数据表、抽取 频率、抽取方式、抽取时间等各种参数的设置。对于通过校 验审核的采集数据，由抽取加载功能加载进入数据中心交换 数据库存储。 由于市场监督管理系统数据量巨大，数据中心在抽取数 据时必然会影响业务系统的读写速度，为了使数据中心的数 据与业务系统同步，同时尽量减少数据中心数据抽取对业务 系统的影响，数据中心采用数据增量的数据抽取方式。增量 传输提供高效数据传输模式，通过对业务数据操作时间(即 业务时间戳)的比对，获取最新增量的业务数据，实现数据 增量分离，减少源数据库的读取次数，从而减少数据中心抽 取数据对各业务系统的影响。 1.1.2.1.数据抽取数据源设置 数据抽取数据源设置是在连接到源数据后，对源数据中 的数据内容进行选择的操作。由于源数据为业务数据，其中 包含有大量系统表，暂时表、与业务无关的辅助类表等，这 类表不属于数据中心抽取范围。数据源设置是对数据源进行 选择确认哪些表的数据需要抽取，哪些不需要抽取。 1.1.2.2.数据抽取方式设置 数据抽取方式分为全量抽取和增量抽取两种方式。由于 数据抽取会占用业务数据库的读写操作，为了减少数据中心 抽取数据对业务系统的影响，对于更新频率较高的数据易采 用增量抽取。 对于必须使用全量抽取的业务数据，则需要安排在非工 作时间抽取，尽可能的减少抽取数据对业务系统的影响。 1.1.2.3.数据抽取频率设置 根据数据的重要性，不同业务主体的数据对数据更新要 求各不相同。如：主体数据为工商主要数据，且其他业务数 据需要主体数据及时性要求较高，因此主体数据的抽取频率 要求高。 数据抽取频率设置是根据不同需求，设定数据抽取的频 率 1.1.2.4.数据抽取时间设置 由于数据增量发生在工作时间，因此对于增量抽取的业 务数据， 通过抽取时间设置， 系统在工作时间进行增量抽取， 非工作时间则