Web日志分析系统设计与应用.docVIP

第 PAGE 第 PAGE 1 页 共 NUMPAGES 1 页 免责声明：图文来源网络征集，版权归原作者所有。若侵犯了您的合法权益，请作者持权属证明与本站联系，我们将及时更正、删除！谢谢！ Web日志分析系统设计与应用 摘要：作为网络安全的重要领域，Web日志分析系统一方面能够改进Web网站结构，促进Web服务器性能提升；另一方面能够帮助识别用户的喜好及满意程度，寻找潜在用户群体，提升网站服务核心竞争力。笔者介绍了Web日志分析系统设计策略，探究了其实际应用发展前景，为Web日志分析系统效率的提升提供参考。 关键词：Web日志分析系统；系统设计；数据预处理 信息时代背景下，网站大小、数目及复杂度等呈现出持续增长趋势，传统运维管理中，日志管理存在不规范、易删除、不方便使用等问题，企业如果没有专业的日志管理或日志分析工具，很难满足网络安全法的合规要求。日志分析是IT运维领域非常重要的一项工作，甚至可以说，在平台化、模块化、服务化盛行的今天，这项工作的重要性已接近传统的设备监控。不过日志由于来源、使用者、管理者都比设备指标要复杂，导致日志分析的功能需求也较大[1]。 1Web日志分析系统设计 Web日志分析系统数据挖掘主要包括数据预处理、模式挖掘及模式分析三个阶段。日志分析功能实现了自动收集汇总日志和智能化解析，可以减少运维管理中日志查询搜索的巨大工作量。全面系统化日志分析，满足日常运维需要，从安全角度分析海量日志数据，深层次挖掘攻击事件。日志搜索能够通过选择系统日志或Web日志以及日志产生的时间，搜索日志内容。统计分析包含系统日志常规分析、Web日志常规分析和威胁分析。异常行为规则设置，主要设置异常行为的判定规则，包含了安全狗累积的经验规则。日志采集菜单主要是查看日志采集状态，可以开启、暂停或关闭主机或Web采集。同时，还可以手动上传日志文件，该系统组成如图1所示。1.1数据预处理模块。在进行数据预处理前，首先要收集原始数据，将收集的原始Web数据导入数据库中，建立WALS数据表，其主要针对的是原始Web访问日志[2]。通常Web访问日志数据主要包括id、ip、identd、url、size等多个组成部分，流程如图2所示。1.2模式挖掘模块。尽管在Apriori向下封闭属性下，候选项集的大小已大大缩小，然而仍存在较大的算法时间复杂度，难以达到理想的标准[3]。与此同时，Apriori算法需要对日志数据库进行多次扫描，当候选序列长度增加时，就需要对数据库进行一遍扫描，能够大大提升整个算法的执行效率。搜索文本是找到想要的信息的最基本方法，搜索文本最常用的工具是grep，这个命令行工具，大多数Linux发行版上都有，它支持用正则表达式来搜索日志。正则表达式是一种用专门语言写成的语句，可用来识别匹配文本。最简单的正则表达式是把搜索的字符串加上引号。1.3数据库设计。数据库设计主要涉及WALog表、存储原始Web访问日志等。首先要严格按照时间先后顺序储存WALog表的记录，用户在访问网站时需要一定的IP地址作为载体，该载体则采用IP字段表示。用户在采用某一IP地址进行访问时，其所用的时间也会形成相应的记录，该时间可以通过Date字段判断，GET及POST的表现则能够通过Method字段取值来反映，用户在浏览过程中会将需要的资源存储下来，资源多通过URL字段表示。所发送的字节数采用Bytes字段表示，浏览器及操作系统类型则采用BrowserOS表示。CWALS表则为所有数据均清理后Web所访问的日志表[4]，CWALog表中的含义与WALog相同。UILog表中主要包括UID、IP、Date等字段，其主要指的是用户识别后的日志数据表，每一个用户都具有一个唯一的标识UID，其他字段意义均与上述相同。用户会话识别后的日志数据表则采用的是USILog表，其中涉及URL、USID、Date以及Refer等字段，其中每个用户会话都具有唯一标识USID。当路径填充后其具备的Web日志表为PSLog表，主要包括USID、Date、URL等字段，其页面的引用长度采用Rlength标识，主要含义为用户浏览每一个网页所用的时间。CPS表包括URL及ID字段，其主要表示的是内容页面表。 2Web日志分析系统的应用及展望 作为信息发布、交互及获取的重要工具，Web信息量呈现出飞快增长的态势，面对这一趋势，Web日志分析系统的研究量也逐渐增加，发展前景广阔。目前，Web日志挖掘技术还存在大量问题需要予以有效的解决，这对研究工作者提出了严峻的挑战。日志管理系统可以让用户快速分析大量日志文件，可以自动解析标准日志格式，比如公共Linux日志或Web服务日志，这会节省很多时间，