基于ＷＥＢ的数据挖掘技术在网络管理中的研究与应用.docVIP

基于ＷＥＢ的数据挖掘技术在网络管理中的研究与应用 　　[摘要]文章探讨基于WEB的数据挖掘网络管理系统的体系结构、OLAP技术和数据挖掘技术，针对当前网络管理系统的现状和存在问题。提出基于WEB和数据挖掘技术的网络管理系统，为网管存在的问题提供解决方案，谊系统对网管现状的改善有积极意义。 　　[关键词]网络管理；数据挖掘；数据仓库；联机分析处理 　　[作者简介]吴颖智。广东物资集团汽车贸易公司。研究方向：数据挖掘，网络安全。广东广州，510410 　　[中图分类号]TP315 　　[文献标识码]A 　　[文章编号]1007-7723(2009)06-0038-0002 　　 　　一、引言 　　 　　随着网络技术的发展，网络资源愈加呈现出异构性和动态性，网络管理的功能日益复杂，传统的网络管理技术已无法满足对大型复杂网络管理的需要，有必要在网络管理中引入数据挖掘技术，将网络中的海量数据抽取、转换、集成为所需数据，提供相关分析综合技术，为决策者和分析人员及时、准确地对数据资源进行全局综合分析，从中挖掘出有用的知识，高效地实现对网络的综合管理。 　　 　　二、数据挖掘技术概述 　　 　　(一)数据挖掘的流程简介 　　数据挖掘是从大量数据中提取或“挖掘”知识。数据挖掘也叫数据库中的知识发现或KDD的同义词。数据挖掘是指一个完整的过程，该过程从大型数据库中挖掘先前未知的、有效的、可实用的信息，并使用这些信息作出决策或丰富知识。图1描述了数据挖掘的基本过程和主要步骤，过程中各步骤的大体内容如下： 　　 　　1，确定业务对象 　　清晰地定义出业务问题，认清数据挖掘的目的是数据挖掘的重要一步。挖掘的最后结构是不可预测的，但要探索的问题应是有预见的，为了数据挖掘而数据挖掘则带有盲目性，是不会成功的。 　　2，数据准备 　　(1)数据的选择 　　搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据。 　　(2)数据的预处理 　　研究数据的质量，为进一步分析作准备。并确定将要进行的挖掘操作的类型。 　　(3)数据的转换 　　将数据转换成一个分析模型，这个分析模型是针对挖掘算法建立的。建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键。 　　3，数据挖掘 　　对所得到的经过转换的数据进行挖掘。除了完善和选择合适的挖掘算法外，其余一切工作都能自动地完成。 　　4，结果分析 　　解释并评估结果。其使用的分析方法一般应作数据挖掘操作而定，通常会用到可视化技术。 　　5，知识的同化 　　将分析所得到的知识集成到业务信息系统的组织结构中去。 　　(二)数据挖掘在网络管理中的应用 　　 　　数据挖掘技术从一开始就是面向应用的。目前，在很多领域，数据挖掘(data mining)都是一个很时髦的词，尤其是在银行、电信、保险、交通、零售(如超级市场)等商业领域。在网络管理方面，由芬兰Helsinki大学与一家远程通信设备制造厂合作的TASA系统，网络管理的告警数据库中蕴涵有大量的故障特征模式，这为数据挖掘提供了数据基础。所以，研究网络管理中的数据挖掘是很有意义的。 　　 　　三、基于WEB和数据挖掘的网络管理系统的体系结构 　　 　　基于WEB的数据仓库系统是一种三层逻辑架构，由表示层、应用层和数据层组成，其体系结构如图2所示。 　　以上客户端只需安装WEB浏览器即可，如IE／NS等，因此可基于任何支持Browser的操作平台，对机器本身要求低。WEB服务器用于管理客户机与应用服务器间的信息流，可以用各种流行服务器，如IIS，APACHE等，WEB服务器接受客户端HTTP请求，以静态HTML页面或调用应用服务器生成动态HTML响应请求，进行合法性等验证后，根据WEB页面的内容向应用服务器发出请求，WEB服务器上可装有jsp、asp等应用程序，这样可与应用服务器交换信息。应用服务器响应WEB服务器发出的请求，激活相应的查询任务，利用接口技术对数据仓库的访问，如ODBC、JDBC方式等。数据层即后台数据仓库接受来自应用层的SQL查询语句以及数据集成等。WEB服务器是此系统的功能中枢，起到连接客户端与应用服务器之间的桥梁的作用，并且可在此进行数据合法性检查、身份验证等。整个系统工作流程如下：在表示层，WEB浏览器用户发出一定的操作指令通过HTML文件提出的HTrP请求传递给WEB服务器；在应用层，WEB服务器用相应的asp、jsp等应用程序响应表示层的请求，并进行翻译成应用服务器所能接受的请求，或直接翻译成SQL请求，应用服务器完成相应的SQL语句并与后台数据仓库连接，发出SQL查询等，最后应用层接受数据层的结果，送到客户端。另外，应用层也需完成抽取数据，通过数据