决策树算法在网站服务器日志分析中应用.docVIP

决策树算法在网站服务器日志分析中应用 　　摘 要 互联网技术的发展，大大提高了人们获取信息和咨询的灵活度和及时性，上网已经成为人们日常生活中的重要内容，人们通过浏览网站可以享受到娱乐，还能获取自己需要的知识，为了满足用户不断增加的使用需求，各类网站相应的逐渐扩大自己的规模，这样的举措虽然方便了用户更好的体验网站内容，但同时也为网站的日常维护工作提出了新的要求和挑战。文章简要分析决策树算法在网站服务器日志分析中的应用，为如何维护和管理庞大的数据提供可参考的意见。 　　关键词 网站维护；数据挖掘；决策树；网站服务器日志 　　中图分类号：TP311 文献标识码：A 文章编号：1671-7597（2013）22-0105-01 　　1 决策树算法分析 　　1.1 决策树算法概念分析 　　决策树算法是从机器学习中分类出来的一种分类方法，属于数据挖掘技术的研究范畴，决策树算法首先是对数据进行处理，然后进行可读规则或决策树的计算，该计算是基于归纳算法实现的，在归纳算法计算后，利用已形成的决策树做进一步的数据分析与处理，决策树凭借其先天算法优势在对庞大数据环境中分析中有着广泛的应用。通过以上分析可知，归纳算法是决策树算法中的核心内容，所谓的归纳就是将事物从特殊归结到普通的过程，是从事物的外在特征表现来总结出若干个规律性结论。决策树实质上属于一个分类器，因其数据结构酷似一种二叉树的树结构而得名。在决策树中的各个分枝树都对应一个测试结果，每个非叶结点对应于采样中的一个属性测试，叶子代表一个种类或者是种类的一种分布，数据种类的分类原则由决策树根到叶的路径进行划分，最为常见的决策树归纳算法是基于自上而下递归计算基础的，且其构造的主要元素为训练元组及其相关标号。 　　1.2 决策树算法应用优点分析 　　决策树与其他数据挖掘技术相比，有着如下优点，其一就是决策树的算法提供的数据都比较直观易懂，尤其是与神经网络算法相比，再者就是决策树在大规模数据挖掘中的效率相对要高，数据挖掘的过程更为高效，节省了大量的重复操作所消耗的时间。此外，与其他数据挖掘方式不同，决策树算法只对训练较为集中的数据有附加信息的要求，其他数据则不需要附加信息。最后一个也是最为重要的一个优点就是决策树的算法在实际使用时的准确率特别高。 　　1.3 决策树的算法分类 　　1）ID3算法。ID3算法是利用信息熵来展开的一种决策树算法，主要通过对属性集的取值来对数据的类型作出判断，ID3算法的核心内容是在决策树的各个节点上事先选择相关的属性，其选择的标准是信息增益，这样就会使得在每次测试时获得最大的信息种类，该算法的优点在于方法简单易操作，运行理论清晰，便于推广，对于大规模的学习问题有着较好的处理效果。 　　2）SLIQ算法。SLIQ算法在决策树算法中属于一种比较快速的算法，伸缩性较强，不但能够处理离散型数据也能处理连续型数据。SLIQ算法在保留其他技术处理数据精确度的基础上，提高了学习的时间，也就数说SLIQ算法具有更快的运行速度，再者就是SLIQ算法对于所要处理的数据的数量以及属性分类不进行限制，从这个角度上来讲，SLIQ算法可以处理其他算法不能处理的大规模数据分类的情况，从处理数据的侧重点来说，SLIQ算法实质上是提高了数据挖掘技术的分类精度，但是该算法的缺点在于容易受主存储容量的限制，主储存器的容量能够直接影响其数据存储的分类与处理。 　　2 网络服务器分析中的决策树算法应用探究 　　2.1 网站维护现状 　　目前网站维护工作中的主要问题就是在正常环境下，如果网站出现崩溃情况，对于故障的定位分析及其困难，过程非常繁琐，在当代每个网站的服务其中都具备预警功能，所以维护网站工作的开展要以服务器中的预警日志为导向，并在此为基础对服务器进行全面的分析，但在处理器预警日志的分析中应注意，预警日志的产生十分迅速，产生的速率过快是不宜于我们进行故障定位的，因为我们要处理的信息数据中会混杂大量的告警信息，这就对数据挖掘技术的效率提出了较高要求。 　　2.2 网站服务器日志分析中决策树算法应用探究 　　在网站服务器日志分析的决策树算计应用过程中，应首先开展数据准备的操作，数据准备操作中又包括数据的选取和数据的预处理两个部分，数据的选取操作要求从系统的多个运行环境中提取告警日志的数据信息并加以收集，为进一步提高数据处理的效率和质量，要再对收集后的数据进行预处理操作，以此实现数据处理精度的有效提升。作为发现数据中包含知识的主要过程，数据预处理的计算精度在一定程度上能够影响到决策精度。在完成数据准备工作后要建立其决策树分类和数据挖掘的对应模型，然后通过决策树在数据挖掘技术中传统的方式来进行数据挖掘。 　　2.3 决策树模型的评估和验证 　　决策树模型评估是保证数据取得较高实