网站流量分析项目数据收集与处理流程说明.pdfVIP

日志收集模块说明

日志收集的目的最终是把用户对目标的日志汇聚到HDFS文件系统中的特定目录，以便给下一步的

数据模块进行处理。要完成这一工作，需要分为如下几个步骤去做：

JS

日志服务器

日志切割

日志收集

下面对上述四个步骤一一进行详细说明：

1.JS

我们需要收集某个第访站的情况，通用的做法是在第的相关页面嵌入一个JS，这样当用

目录，以便给下一步的

嵌入一个JS，这样当用

户该页面时，页面上的JS会在页面上动态加入一个image/，并且image/的src属性指向日志服务

器下的一个透明的URL地址，在该URL参数上会附带第的一些信息（如被页面的URL、识别用户

的等）,这样通过分析日志服务器（一般是nginx或apache）的access日志文件就能获取到这些信息。

这个JS的可以自己编写来实现，代码片断如下：

functionar_main(){

varunit_id=9999;//第id

//日志服务器地址

vardest_path=+unit_id;

varexpire_time=1800;

vari;

//通过获取UV信息

e/的src属性指向日志服务

页面的URL、识别用户

文件就能获取到这些信息。

id=+unit_id;

//返回导航到当前网页的超所在网页的URL

//获取当前页面的URL

//获取屏幕信息

//获取是否使用JAVA和flash

//拼接日志服务器的URL

dest=dest_path+url=+url+urlname=+urlname+title=+title+chset=+charset+scr=+scre

en+col=+color+lg=+language+je=+jvm_enabled+ec=+_enabled+fv=+flash_ver+cnv

=+String(Math.random())+ref=+ref+uagent=+agent+stat_ss=+uv_id+stat_uv=+stat_uv;

dest+=ar_join_clientInfo();

//在当前用户的页面上动态添加一个image/，并设置其src为日志服务器下的一个透明的URL

vardom=$(imgsrc=\+dest+\border=\0\width=\1\height=\1\/);

=+charset+scr=+scre

+fv=+flash_ver+cnv

stat_uv=+stat_uv;

个透明的URL

\/);

document.body.appendChild(dom.get(0));

}

//执行

ar_main();

此外这个js的我们也可以考虑用第开源的产品，这样这些开源产品会自动帮助我们出分析结果，这

样的产品有：

谷歌的Analytics，其源码地址：，

使用说明：

腾讯云分析平台，

动帮助我们出分析结果，这