数据挖掘在政府信息系统设计中应用探究.docVIP

数据挖掘在政府信息系统设计中应用探究 【摘要】随着电子政务的蓬勃发展，政府部分内部及政府部分之间产生了大量政务信息。如何正确、有效地从这些数据中提取有价值的信息就成为目前电子政务的一个重要题目。本文重点阐明了采用数据挖掘技术来监控与治理日益复杂的交换平台。对研究数据挖掘在电子政务中的实际应用具有定的鉴戒作用和推广意义。【关键词】数据挖掘 数据仓库 电子政务1、引言随着网络技术和数据库技术的飞速发展，政府的信息化进程正在逐渐加快。政府信息化，就是指政府行政治理方式、内容和手段的数字化、网络化和智能化。当今，人们对政府和职能部分高效运转的要求越来越高，政府重塑理论和新公共治理理论也在逐渐发展。电子政务自产生后就得到了快速发展并且迅速成为支持政府从传统的治理方式向新型治理体系转变的重要技术保证。电子政务的核心是利用信息技术优化进步行政效率，实现行政和日常事务的优化，建立政府、社会和公众之间的有机互动。经过最近几年电子政务基础资源的大规模建设，海量政务信息资源挖掘和电子政务知识治理等深层次应用正逐步进进电子政务舞台，对电子政务实施数据挖掘将成为政府信息化的一个新的研究方向。2、数据挖掘理论概述数据挖掘( Data Mining)又称数据库中的知识发现，是指从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的，但又是潜伏有用的信息和知识的过程。对信息和知识的需求来自各行各业，从贸易治理、生产控制、市场分析到工程设计、科学探索等，数据挖掘作为一个新兴的多学科交叉应用领域，正在各行各业的决策支持活动中扮演着越来越重要的角色。2.1、数据挖掘过程数据挖掘的工作过程从技术上可分为：数据的回集、数据的存储和治理、数据的展现等关键技术。(1)数据的回集：数据的回集是数据进进仓库的进口。由于数据仓库是一个独立的数据环境，它需要通过回集过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导进数据仓库。数据回集在技术上主要涉及互连、复制、增量、转换、调度和监控等方面的处理。在数据回集方面，未来的技术发展将集中在系统功能集成化方面，以适应数据仓库本身或数据源的变化，使系统更便于治理和维护。(2)数据的存储和治理：数据仓库的组织治理方式决定了它有别于传统数据库的特性，也决定了其对外部数据的表现形式。数据仓库治理所涉及的数据量比传统事务处理大得多，且随时间的推移而快速累积。在数据仓库的数据存储和治理中需要解决的是如何治理大量的数据、如何并行处理大量的数据、如何优化查询等。(3)数据的展现：在数据展现方面主要的方式有：查询：实现预定义查询、动态查询、OLAP查询与决策支持智能查询；报表：产生关系数据表格、复杂表格、OLAP表格、报告以及各种综合报表；可视化：用易于理解的点线图、直方图、饼图、网状图、交互式可视化、动态模拟、计算机动画技术表现复杂数据及其相互关系；统计：进行均匀值、最大值、最小值、期看、方差、汇总、排序等各种统计分析；挖掘：利用数据挖掘等方法，从数据中得到关于数据关系和模式的知识。从数据分析的角度，数据挖掘实现的功能可以分为：描述式数据挖掘和猜测式数据挖掘。描述式数据挖掘以简捷概要的方式描述数据，猜测式数据挖掘则通过分析建立模型并试图猜测新数据集的行为。2.2、数据预处理数据预处理是数据挖掘过程中第一个重要处理步骤，涉及数据清洗、数据集成、数据转换和数据消减等主要处理方法。数据清洗，主要用于填补数据记录中（各属性）的遗漏数据，识别异常数据，以及纠正数据中的不一致题目。数据集成，主要用于将来自多个数据源的数据合并到一起并形成完整的数据集合。数据转换，主要用于将数据转换成适合数据挖掘的形式。如：规格化数据处理。数据消减，主要方法包括：数据立方合计、维度消减、数据压缩、数据块消减和离散化。这些方法主要用于在保证原来数据信息内涵减少最小化的同时对原来数据规模进行消减，并提出一个简洁的数据表示。2.3、数据挖掘中的关联规则数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联规则挖掘就是从大量的数据中挖掘出有价值描述数据项之间相互联系的有关知识。随着收集和存储在数据库中的数据规模越来越大，人们对从这些数据中挖掘相应的关联知识越来越有爱好。关联规则挖掘过程主要包含两个阶段：第一阶段必须先从资料集合中找出所有的高频项目组(Frequentltemsets)，第二阶段再由这些高频项目组中产生关联规则(Association Rules)。关联规则挖掘的相关算法主要有：Apriori算法、基于划分的算法、FP-树频集算法。近年来大量研究从不同的角度对关联规则做了扩展，将更多的因素集成到关联规则挖掘方法之中，以此丰富