基于工商行政管理信息系统大数据中心设计与应用.docVIP

基于工商行政管理信息系统大数据中心设计与应用 　　[摘 要]近年来，在大数据时代的背景下，每个政府部门都在尝试用数据来创新、用数据来决策、用数据来管理、用数据来服务、用数据来应用。工商部门拥有全国市场主体的企业基本信息、法人信息、投资人信息、案件信息等。可以说工商数据是整个社会经济数据的核心。但是，如何将这些数据完整、准确、有效的汇集到一起，并且得到最好的应用，需要我们进行更加深入的分析和探索。本文以省级工商大数据中心为例，进行了深层次的学习和研究，并通过云计算、大数据、ETL等信息化先进的技术和方法实现了大数据中心的建设，拓展了数据中心系统化、多元化、多层次的创新应用。+ 　　[关键词]大数据，云计算，数据中心、ETL 　　中图分类号：F203 文献标识码：A 文章编号：1009-914X（2017）13-0393-02 　　数据中心，从某种意义上讲，它是一个大的概念。细化来说，可以认为是系统软件、计算机硬件、网络、服务器、存储、安全装置等融合到一起组成的庞大数据传输、汇集、应用中心。随着工商行政管理系统信息化的不断进步和发展。全省业务系统采用了大集中的方式，省、市、县区、所不再分级部署，数据的采集、传输、汇集、存储都变成了一体化，数据质量得到了很大的提升。同时，省工商局数据中心已经从简单的数据汇集、存储、单一联网应用走向了数据挖掘分析、全面数据共享、创新监管服务，多方位、多层次数据应用的全新领域。但是，在数据中心不断创新完善的过程中，还存在很多问题。例如标准的统一、共享开放程度不够、创新数据应用、数据安全、提升时效性等都需要更深入的研究和完善。本文以省级工商系统为例，通过采集、传输、汇集、应用四个层次，来阐述省级工商行政管理数据中心的创新的设计理念和应用方法。 　　一、工商大数据中心的数据采集设计 　　数据采集机制有联机实时采集、在线同步采集、离线采集等。过去，全省工商系统业务系统采用分级部署的方式进行，各市的存储都是在本地进行，全省12个地市与省局同一软件开发商，2个市分别为两个不同的软件开发商。由于系统不统一，结构也就不会一致，不仅涉及结构转换，还包括代码转换，数据只能通过数据库日志分析技术的数据库同步工具进行同步，有的可以做到准时时，有的数据量大的异构数据只能一天一传输，甚至两天一传输。录入口也分别由各市自己进行管理、监督。虽然全省的数据标准都是按照国家局要求进行数据采集。但是，随着标准的不断完善，系统也在随之不断的升级。有的系统建设时间过长，直接导致升级后问题不断，必录项与非必录项没有进行严格限定，数据的采集好坏完全取决于业务人员的计算机操作水平和责任心，由于全省包括基层人员的年龄结构不同，计算机水平也不同。因此，经常会出现漏入、录错的情况发生，直接导致数据的完整性、准确性、规范性、关联性出问题。 　　全省数据大集中解决这一问题有显著成效。全省业务系统一体化，其中包括注册登记子系统、商标子系统、广告监管子系统、案件子系统、消费维权保护子系统、合同监管子系统、网络监管子系统等多个子系统进行统一，全省、市、县区、所产生的数据直接进入省局生产库，可以保证数据新鲜度，而且不会降低对系统性能和稳定性的影响。一是统一录入端，通过加强全省信息化系统业务人员录入的培训，进一步提高全省业务人员计算机操作水平。全省业务人员掌握的是一套方法，一个流程，相互交流、交接没有障碍。二是业务系统在设计之初就将必须录入的信息设置为必录项，如果不录入准确的内容，系统是无法通过进行下一步流程的。三是在录入端设计了数据标准筛查功能，例如18位身份证件，如果超过18位，或者低于18位的非老式身份证，系统就会自动报错，在改正前是无法通过系统流程的。四是在录入端设置了统计分析功能，按照谁录入、谁负责的要求，可以在系统中永久保留痕迹，将业务人员所有操作过的业务进行统计分析，统计出完成录入业务总量及出错几率。 　　二、工商大数据中心的数据传输、汇集设计 　　工商大数据中心的传输，主要是指生产库到数据汇集库、汇集库到共享库、共享库到标准库、标准库到上报库的传输。其中大致分为两种类型数据，结??化数据和非结构化数据。结构化数据主要包括：企业基本信息、个体工商户基本信息、主要人员信息、投资人信息、注册资本信息、实收资本信息、变更信息、行政执法信息、监管信息等；非结构化数据主要包括：企业年报数据、网络市场监管抓取的互联网数据、各种资质、前置、后置的一些数据。 　　以省工商行政管理局数据中心为例。生产库数据对内并不是单一的指工商业务系统所产生的注册信息和案件信息等。其中传输到数据中心的数据还包括企业信用信息公示系统通过互联网进入到内网数据中心的数据传输，网络监管检测到的与企业相关联的互联网信息等。对外传输，还包括给国家工商总局的数据传输。 　　整体