WEB日志数据挖掘的研究和实现-软件工程专业论文.docxVIP

I I 摘 要 随着信息技术和计算机网络技术的不断成熟和发展，数据库技术虽然已日渐 成熟并被广泛应用，但其只是基本的信息存储和管理的方式，大量有价值的数据 被隐藏在数据中而不能被人所使用。数据挖掘作为一门新兴的研究领域应运而 生。数据挖掘技术被称为未来信息处理的主要技术之一。依据数据挖掘数据在 Web 中的数据源的不同，可以把 Web 挖掘分为 Web 结构挖掘、WEB 访问信息挖 掘、Web 内容挖掘。 Web 日志挖掘的过程一般分为三个阶段：日志数据预处理、模式识别分析阶 段和挖掘算法的实施。XML 全称为可扩展标记语言，它以一种开放的、自我描述 的方式定义数据结构，能够明晰的对数据的结构进行表示，从而体现出数据与数 据之间的关系，XML 为异构的数据源提供了一种统一结构的描述方法。ID3 算法 是在数据挖掘技术中经常使用的经典算法，其主要应用于分类挖掘的实现中，产 生的总是最小的树形结构，通过验证实例证明本文设计的系统对日志文件的的事 物分析具有很好的效果。 本系统的主要创新之处即是在于采用 XML 规则文件技术，对日志数据进行预 处理，进行规则的匹配。其具有很强的灵活性，表现在用户可以根据自己的习惯 偏好对 XML 规则文件进行配置，产生适合自身特点的日志规则，从而生成用户感 兴趣的新的日志文件。 在本设计系统可以创建六种针对不同的日志文件的规则：通用日志文件规则、 syslog 日志文件规则、Weblogic 规则、log4j-xml 规则、oracle-alter 日志规则、jboss 规则。根据不同的日志文件类型，本系统可以产生相对应的规则文件。规则文件 以 XML 格式存在，根据规则文件对输入的日志文件进行相关的处理。本系统的创 新点即在于采用日志挖掘算法与 XML 技术结合，运用 XML 技术的自描述和结构 描述功能以及其对数据的通用表示方式，实现对日志文件进行分析和统计。 关键字：数据挖掘，日志挖掘，ID3 算法，Web 日志分析工具，XML 语言 II II ABSTRACT Along with continuous maturity of the information technology and computer network technology , although database technology have increasingly turned mature and been widely used ,it is only a basic method of information storage and management. A great amount of valuable data is subsurged in the sea of data and can’t be used.Data mining emerge as a burgeoning research domain.Data mining technology is called one of the major technology of information processing in the future . According to data from different data source in the web,we can classify the web mining into web structure mining, web access information mining, web content mining. Web log mining process can be generally divided into three stages: log data preprocessing、pattern recognition analisis and the implementation of algorithm for mining. XML is a Extensive Markup language, it define data structure with a open and self-description mode, it can clearly indate data structure, so that it can reflect the relationship between data.XML provides a description of the unified structure for heterogeneous data sources. XML provide a method of communicating between