数据整合专项方案.docVIP

信息资源标准化 数据标准化关键实现了数据格式、内容和语义映射、转换，实现编码一致化、面向专题集成、数据聚合等功效。 经过数据交换、采集，形成基础业务数据，经过数据整合深入数据ETL（数据抽取、转换、加载），根据定制标准信息规范进行匹配映射（Match）、数据格式转换（Transform），并对反复数据进行数据清洗（Cleanse）、过滤（Filtrate）、聚合（Aggregate），最终多维加载（Load）后形成标准化数据。 采取数据同时工具和ETL工具完成数据抽取、同时等整合工作，并经过任务调度管理实现对整合工具集中管理和实施。 数据采集时能够按信息资源平台要求将数据标准化。在采集抽取数据时没有按信息资源平台转换为标准数据数据，需要按信息资源平台要求转换成标准数据如字典统一。 数据加工管理 数据抽取 数据抽取是利用抽取工具，建立抽取模型，将多个数据源数据汇总到一个数据库过程。 数据清洗 因为数据来自多个业务系统，而且包含历史数据，需要根据一定计划把数据进行清洗，整个数据清洗对象应包含不完整数据、错误数据、反复数据等三大类。 数据转换 数据转换关键实现数据标准化过程，信息资源平台数据，来自多个业务系统，有些数据源没有根据统一标准规范设计，所以会造成数据难以和其它数据共享。数据转换应实现根据统一数据标准和既定格式转换规则，对数据整理和格式统一。 数据装载 数据装载操作效率是数据资源平台需要考虑关键步骤。投标人应具体描述针对本项目标不一样数据资源所应采取数据装载策略。 数据标识 数据标识关键为了突出数据关键性信息，便于实时统计和更有效比对，进而获取符适用户业务办理相关结果。 数据整合处理系统 数据处理步骤 数据中心构建，基础和关键工作是需要对来自各方数据进行充足整合和处理，对获取各类源数据，需要进行大量数据梳理、分析，并作相关数据整理工作，经过数据梳理和转换工作，把不一样起源数据基于数据标准，转换成标准化数据后，再进行入库，从而确保进入数据中心数据质量，不产生垃圾数据，从而为数据中心全局应用奠定基础。 数据处理步骤以下图所表示： 数据处理步骤关键以下： 1、获取源数据 经过数据共享交换对接和实施，获取各单位原始数据，并暂存在数据缓冲库中，这部分数据结构和原始数据数据结构相同。 2、数据整合处理 对缓冲库中存放数据，基于数据标准，对原始数据进行整合处理，包含企业关键码标准化处理、企业基础数据整合处理 、企业许可数据整合处理、企业监管数据整合处理、其它政府部门数据整合处理、电子统计报表数据导入处理、历史数据整合处理等。 经过整合处理，把非标准化原始数据转换成标准化数据。 3、数据中心数据入库 对整合处理后数据根据数据性质，分别进入到基础数据库和业务数据库中。 食品安全监管数据整合处理分析 企业关键码标准化处理 现在，相关企业各类信息全部分散在XX省XX监管平台、网上办事大厅XX分厅和相关部门行政审批系统，不一样系统对企业唯一编码各不相同，现在存在三种方法： 企业组织机构代码 企业工商登记注册号 统一社会信用代码 企业XX行业相关许可证号 因为不一样业务系统是由不一样开发商开发，在企业编码标识上各不统一，为了实现基于企业为根本，首先需要以企业关键码为关联，对各方汇聚相关企业各类信息进行关联整合，形成企业综合资源，为后续企业综合分析提供数据支撑。 所以 ，需要基于企业编码标准，对采集原始企业业务数据企业编码进行标准化处理。 企业关键码标准化处理包含工作包含 ： 1、基础数据获取 经过共享交换对接、文件导入等多个方法，获取相关企业基础数据等。 2、企业关键码梳理分析 依据调研情况，针对XX市企业基础数据实际情况和国家推行三码合一政策，采取依次以信用代码、组织机构代码、工商登记注册号、许可证号对从各方获取企业信息进行梳理分析，和企业关键码进行比对，制订企业关键码标准化处理规则。 3、企业关键码数据标准化 对各方汇聚企业关键码数据根据标准化处理规则进行转换、补充等处理。 企业基础信息整合处理 在不一样业务系统中，对企业基础信息描述有有差异、包含企业字段和相关数据结构设计等，所以，需要对各方汇聚企业基础信息根据统一企业基础数据标准，进行整合处理，构建企业基础数据库。 企业许可数据整合处理 现在，XX市相关企业许可数据关键分布在两个渠道：网上办事大厅XX分厅 XX省XX监管平台等。 1、网上办事大厅XX分厅许可数据整合处理 经过网上办事大厅XX分厅进行受理和审批，则经过和网上办事大厅XX分厅进行对接，获取相关企业许可数据。 对获取企业许可数据根据统一数据标准进行整合处理，经过规则转换后形成标准企业许可数据导入到数据中心。 2、XX省XX监管平台企业许可数据导入 若属于XX省监督管理局办理许可事项，则对接XX省监督管理局数据中心，获取XX市XX