网站访问量统计分析工具-分布式站点监控与管理系统的研究与.pptx

科学数据库技术培训网站访问量统计分析工具安装与部署 2004.8.25 北京提纲WEBLOG的背景与目标WEBLOG的基本术语WEBLOG的结构与处理流程WEBLOG的功能WEBLOG的安装部署演示背景与目标访问量的多少是衡量SDB站点建设好坏的一个重要指标我们关心的访问量指标包括 Requests,Pageviews和Visitors其他指标还有：访问代理类型报告，错误或失效访问统计报告等WEB服务器的访问日志文件提供了有关访问量指标的数据目标：客观、全面、真实反映SDB网站的访问情况基本术语访问日志文件：是由web服务器产生的,记录用户访问该服务器相关信息的文件。 WEB日志文件记录了来访者的ip地址、访问时间、访问方法、访问文件的大小和地址等。但这些数据是零散的。APACHE日志:25 - - [10/May/2001:23:59:54 +0800] "GET /a.htm HTTP/1.1" 200 4083 IIS的日志：08:34:06 06 GET /test/count/image/0.gif 304基本术语文件请求数(Requests):为了获得服务器上的一个资源（可以是文本、图像或任何可以被包含在页面内的元素），浏览器和它连接的服务器之间进行的一次单一连接。页面浏览数(page view): 一次页面阅览就是一次页面的下载，访问者成功地阅览到页面应该在他的浏览器上完整地看到该页面。访问人数（visitor）：参考CNNIC用户会话数的定义，具有同一IP地址的访问者在20分钟内与网站有交互活动则被认为是同一次进入网站，不记录新的用户访问数；栏目/频道：指网站的某一特定目录，通常目录层次不超过2级。栏目/频道可由用户配置信息（文件或数据库）指定。 系统结构日志文件屏蔽日志文件多样性预处理归一处理，入库屏蔽日志格式多样性数据库统计分析统计结果，入库处理流程系统功能安装准备 安装前的准备：J2sdk的安装 JAVA环境MYSQL的安装数据库环境SDB应用服务器的安装WEB应用环境 安装准备按天分割WEB服务器访问日志文件APACHE(LINUX)需要按日对文件进行切割。将日志切割运行脚本（安装包附带）加入到cron中，设为每日0点30分运行。（也可以使用其他的方式获得每日日志文件）IIS(WINDOWS)IIS服务器默认按天产生日志文件，一般存放在“C:/WINNT/System32/logfile/站点名”目录下安装部署安装WEBLOGWindows: 执行Setup.exe，安装到WEB应用目录下。Linux: 将安装包解压到WEB应用目录下。系统的组成：系统包括三个模块：WEB化配置模块 ：weblog/logconfig统计分析模块 ：weblog/loganalyse日志查看模块： weblog/logreport部署：默认情况下第一次登陆weblog系统要先进行系统的配置，主要包括如下几个方面： 安装部署设置存放日志统计结果的MYSQL数据库的属性（在此之前请先安装数据库）数据库机器的ip地址数据库名用户名用户密码安装部署设置待统计的站点列表待统计的站点列表(站点之间以 “,” 分隔)设置每个待统计站点的参数频道（栏目）或数据库配置文件路径站点日志文件路径(目录名) 日志文件的格式设置频道（栏目）或数据库配置路径名（或特征名） 频道栏目名称中间以空格格开,每一行一条记录。例如：“/history 历史馆” 日志文件格式APACHE25 - - [10/May/2001:23:59:54 +0800] "GET /a.htm HTTP/1.1" 200 4083 访问IP 访问时间 “请求方式 访问资源 协议” 状态码 传送字节数对应日志格式：%a - - %T %m %U %H %s %b} 其中时间格式为{%d/%Mb/%y:%h:%m:%s} IIS2004-08-01 08:34:06 06 GET /test/count/image/0.gif 304访问日期 访问时间 访问IP 请求方式 访问资源 状态码对应日志格式为：{%d %t %a %m %U %s}%a 访问者IP %b 发送字节数%B 接收字节数%c 访问者客户代理%d 访问日期, example: 2001-5-27 or 5/27/2001%t 访问时间, example: 12:23:34 %T 访问时间，其格式由后面的TIMEFORMAT指定%p 处理时间%l 访问者