大数据时代电子政务构建分析.docVIP

大数据时代电子政务构建分析 　　【摘要】 依据国务院《促进大数据发展行动纲要》作为总体需求，分析了我国电子政务应用现状、当前大数据技术已有基础及发展趋势，对大数据时代电子政务建设涉及的思想准备、需求创新、技术架构和实施注意点等方面进行了初步分析，可作为电子政务大数据建设的参考。 　　【关键字】 大数据 电子政务建设 行动纲要 思想准备 需求创新 技术架构 　　一、大数据时代电子政务面临挑战与高层需求 　　1.1大数据时代电子政务面临挑战 　　《促进大数据发展行动纲要》（以下简称《行动纲要》）是中国启动大数据战略的里程碑，由国务院在2015年8月正式发布。电子政务如何适应大数据时代的发展要求，对政府部门是一个新的挑战。 　　构建基于大数据理论与技术的电子政务（以下简称大数据电子政务）将对政府的服务、管理、决策等方面的职能转变与深化改革起到巨大的支撑与推动作用。但是，大数据电子政务的建设涉及思想转换、机制创新、人才结构变化、技术方案选择、推广应用等一系列全新的工作，对建设者是一个很大的挑战。 　　1.2从大数据电子政务需求角度分析《行动纲要》 　　《行动纲要》可以概括为五大目标、七项措施、十大工程。它们不仅是大数据时代的社会发展需求，从软件工程角度来看，也是新一代电子政务的目标和高层业务需求。[1] 　　上述五大目标及高层业务需求是传统信息技术无法实现的，必须采用大数据技术才能实现。 　　二、目前大数据技术已有积累及发展趋势 　　2.1大数据技术总体介绍 　　大数据4V特点是数据量巨大、结构多样、低密度高价值、快速获得结果，由于传统信息技术无法应对，逐步发展起来的全新一代大数据技术。 　　自2006年左右Google三篇大数据技术论文发表及云计算概念提出，10年来大数据技术与产品快速发展。现将主要产品简析如下： 　　围绕大数据技术核心软件 Hadoop，产生了与其相关的一系列软件，称为Hadoop生态圈。比较著名的有：ZooKeeper分布式协作服务、Hive数据仓库工具、Sqoop关系数据ETL工具、Avro数据序列化系统、Pig数据流处理语言、Flume日志收集工具、Ambari集群监控与管理、Mahout机器学习、Oozie工作流引擎、Hue图形化管理界面、chukwa监控分析。传统应用中需要的很多系统级工具软件基本包括在内。这些都是开源的。 　　2.2大数据技术发展态势展望 　　2.2.1开源依然是大数据技术创新发展的基石 　　全球开发者通过开源社区来进行大数据代码的开发、维护和完善，从而集全球智慧推动大数据技术的不断进步。全球各大企业加大对 Hadoop、Spark 等开源社区的赞助和智力投入，开源技术生态系统不断壮大。[2] 　　2.2.2大数据平台兼容性与性能快速发展 　　大数据平台原来SQL不兼容、GB级数据性能不佳等不足已基本解决，分布式内存计算大幅提高处理性能。基于传统数据库的应用会逐步向大数据平台迁移。原来依赖主机高性能、存储高可靠性、高大成本解决方案，在大数据分布式平台中有了更好、更便宜的解决方案。原来觉得困难重重的去IOE行动，在大数据这一全新环境下，居然就顺理成章地解决了。因此，大数据平台在政府行业会有一个快速的普及。 　　2.2.3大数据生态使系统技术复杂度、应用成本快速降低 　　Hadoop适应各类低成本硬件（如X86架构），固态盘替代内存逐步流行，计算硬件成本大幅降低。 　　传统系统环境一般包括服务器操作系统、DBMS、各类中间件、工作流、数据仓库、BI工具、集群及负载均衡、数据交换等，产品厂商各异，技术复杂，采购维护成本高昂。Hadoop商业版打包的生态圈软件，包含了上述产品很大部分功能，复杂性、购置及管理成本大大降低。 　　阿里云、百度云等互联网企业在自身大数据应用基础上，将其产品和技术向市场输出，很多以云平台及SaaS形式提供，降低了技术复杂性。 　　2.2.4流技术发展使实时提醒及决策分析得到兼顾 　　流数据的高速检测及流处理以后马上保存到某个数据库，可以把实时数据、历史数据进行连接，这样，高速查询与迭代分析可以并行不背。例如，在对交通流做实时的检测预警分析的同时，如果在交通高峰期某区域产生拥堵，需要快速分析影响范围，防止出现连锁反应。 　　2.2.5虚拟化、平台化使得云计算与大数据整合逐步走向完成 　　基于虚拟化技术的快速发展，象Linux container、谷歌Kubernetes、YARN支持多种计算框架，mesos资源调度核心、docker工具会走向数据中心操作系统。二是Hadoop技术操作系统化、平台化，数据挖掘及展示工具适应性加强。这些助力云计算与大数据终得融合。 　　三、大数据电子政务建设共同性及难点分析