大数据对政府数据管理能力新要求研究.docxVIP

内容摘要：大数据，作为新一代信息技术的重要新兴领域，近年来得到了政府、社会和个人等各个层面的广泛关注，以大数据分析挖掘为基础的新型管理及经营模式，已成为经济社会发展的重要趋势。政府公共信息，是全社会信息资源的重要组成部分，大数据的快速发展，对政府部门的数据管理能力与模式提出了更高要求。本文从当前信息技术发展的背景入手，分析梳理了大数据的概念、特征及作用，阐述了政府大数据应用的需求及当前政府数据管理的主要特征。通过对国内外大数据应用及管理的案例剖析，总结提炼了具有借鉴意义的经验启示。在整理总结本市大数据应用的现状及主要问题的基础上，从组织管理、平台建设、开发模式以及数据安全等角度，提出了可供参考的对策建议。 　　关键词：大数据 政府管理 管理模式 　　一、“大数据”概述 　　(一)大数据的概念和特征 　　“大数据”(big data)是一个体量特别大、数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。总体而言，大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据类别上看，大数据指的是无法使用传统流程和工具进行处理或分析的信息，它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务(AWS)、大数据科学家John Rauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。大数据是可能不包含所有的信息，但包含了大部分的信息。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当技术达到极限时，也就是数据的极限。大数据的关键不是如何定义，而是如何使用，最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。 　　大数据的特征主要体现在四个方面：首先是指数据体量大，大型数据集一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量;其次是指数据类别大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据;三是数据处理速度快，在数据量非常庞大的情况下，也能够做到数据的实时处理;四是数据真实性高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。 　　“大数据”的概念远不止大量的数据(TB)和处理大量数据的技术，更让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力。从数据分析的角度，包含五个方面：一是可视化分析(Analytic Visualizations)，大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了;二是数据挖掘算法(Data Mining Algorithms)，这是大数据分析的理论核心，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。三是预测性分析能力(Predictive Analytic Capabilities)，预测性分析是大数据分析最重要的应用领域之一，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带人新的数据，从而预测未来的数据。四是语义引擎(Semantic Engines)，由于非结构化数据的多样性带来了数据分析的新挑战，需要一系列的工具能够从“文档”中解析、提取、分析数据。五是数据质量和数据管理(Data Quality and Master Data Management)，大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 　　(二)大数据的作用 　　政府部门越来越注重运用技术手段对数据资源进行深度的价值挖掘，满足日益增长的精细化、科学化管理需要。与此同时，随着社会经济文化的发展和进步，公众对政府和职能部门的要求也越来越高，集中表现为要求提高行政效率和透明度、创新工作方式、提高对社会的服务能力等。 　　首先，有利于为市民的日常生活提供服务。随着生活水平的不断提高，市民对包括气象、食品安全、交通等在内的生活资讯类信息愈发关注，实现此类信息的公开，为市民提供更准确、及时、便利的日常生活服