Web服务器日记统计分析完全解决方案.docVIP

本文由黑冥雾海贡献 doc文档可能在WAP端浏览体验不佳。建议您优先选择TXT，或下载源文件到本机查看。 Web 服务器日志统计分析完全解决方案 摘要 对于所有的 ICP 来说，除了保证网站稳定正常运行以外，一个重要的问题就是网站访问量的统计和分 析报表，这对于了解和监控网站的运行状态，对提高各个网站的服务能力和服务水平是必不可少的。 通过对 Web 服务器的日志文件进行分析和统计， 能够有效掌握系统运行情况以及网站内容的受访问情 况、加强对整个网站及其内容的维护与管理。本文对 Web 服务器日志分析的原理和技术进行讨论。 请注意本文已刊载在《开放系统世界》2003 年第二期，该文章版权属于该杂志所有，请勿随意转载， 请注意 转载请保留该声明 关键字： 关键字：web 服务器 日志 统计分析 crontab cronolog apache 摘要： 摘要：对于所有的 ICP 来说，除了保证网站稳定正常运行以外，一个重要的问题就是网站访问量的统 计和分析报表，这对于了解和监控网站的运行状态，对提高各个网站的服务能力和服务水平是必不可 少的。通过对 Web 服务器的日志文件进行分析和统计，能够有效掌握系统运行情况以及网站内容的 受访问情况、加强对整个网站及其内容的维护与管理。本文对 Web 服务器日志分析的原理和技术进 行讨论。 文章相关软件： webalizer cronolog Apache /webalizer/ / / 一、 前言 随着 Internet 上 Web 服务的发展，几乎各个政府部门、公司、大专院校、科研院所等都在构建或正在 建设自己的网站。而与此同时，在构建网站建设中各个单位都会遇到各种各样的问题，那么对 web 服 务器的运行和访问情况进行详细和周全的分析对于了解网站运行情况，发现网站存在的不足，促进网 站的更好发展重要性是不言而喻的。 管理 Web 网站不只是监视 Web 的速度和 Web 的内容传送，它要求不仅仅关注服务器每天的吞吐量， 还要了解对这些 Web 网站的外来访问，了解网站各页面的访问情况，根据各页面的点击频率来改善 网页的内容和质量、提高内容的可读性，跟踪包含有商业交易的步骤以及管理 Web 网站“幕后”的 数据等。 为了更好地提供 WWW 服务，监控 WEB 服务器的运行情况、了解网站内容的详细访问状况就越来越 显得重要和迫切了。而这些要求都可以通过对 web 服务器的日志文件的统计和分析来做到。 二、WEB 日志分析的原理 网站服务器日志记录了 web 服务器接收处理请求以及运行时错误等各种原始信息。 通过对日志进行统 计、分析、综合，就能有效地掌握服务器的运行状况，发现和排除错误原因、了解客户访问分布等， 更好的加强系统的维护和管理。 在 WWW 服务模型是非常简单的（见图 1）: 1) 客户端(浏览器)和 web 服务器建立 tcp 连接， 连接建立以后， web 服务器发出访问请求 向 （如： ， get） 根据 HTTP 协议该请求中包含了客户端的 IP 地址、浏览器的类型、请求的 URL 等一系列信息。 图 1 web 访问机制 2) web 服务器收到请求后，将客户端要求的页面内容返回到客户端。如果出现错误，那么返回错误代 码。 3) 服务器端将访问信息和错误信息纪录到日志文件里。下面是客户端发送给 web 服务器请求的数据 报的内容： GET /engineer/ideal/list.htm HTTP/1.1 Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-powerpoint, application/vnd.ms-excel, application/msword, */* Referer: /engineer/ideal/ Accept-Language: zh-cn Accept-Encoding: gzip, deflate User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0) Host: Connection: Keep-Alive 可以看到，在客户机的请求里包含了很多有用的信息，例如：客户端类型等等。而 web 服务器就会将 请求的 web 页内容发送返回给客户机。 目前最常用的 web 服务器有 Apache、Netscape enterprise server、MS IIS 等。而目前互联网上最常用的 web 服务器就是 apache，因此我们这里的讨论都以 Linux＋apache 环境讨论，