web数据挖掘技术在电子商务系统中的应用.docxVIP

web数据挖掘技术在电子商务系统中的应用 考虑到大量的电子商务信息，我们必须找到用户对用户感兴趣的信息进行组织和使用，加强客户关系的管理，提高客户满意度，改变web站点的设计，改善公司与客户之间的关系，已成为电子商务必须解决的问题。通过对电子商务网站服务器日志文件进行分析挖掘,可以找出用户行为模式,利于向用户推荐产品,提出针对性商务计划或者对网站进行改进。 1 基于电子商务的web研究 1.1 信息搜集加密 Web数据挖掘的资源主要包括Web上各种形式的文档和用户访问信息两大类。在Internet电子商务中,客户的浏览信息被Web服务器自动搜集,并保存在日志文件中。Web服务器文件的记录格式如表1所示。 1.2 全掘和掘进,最终分析应用 Web日志挖掘是对原始的日志文件进行预处理转变成适合挖掘的数据形式,再利用模式识别中的数据挖掘算法进行挖掘,最终汇总挖掘结果应用到实际中去。通过对日志数据信息进行分析加工,可以发现用户访问站点的浏览模式,得到商家用于向特定消费群体或个体进行定向营销的决策信息,可揭示其中的关联关系、时序关系、页面类属关系、客户类属关系以及频繁访问路径与页面等,从而为优化Web站点拓扑结构,为企业更有效地确认市场目标、改进决策提供帮助。 1.3 基于会话的识别系统 用户识别,是分析有多少不同的用户访问。一般的方法是采用启发式规则,以用户IP和代理来唯一确定用户。即用户IP地址和代理同时相同的为同一个用户;IP 地址相同而代理不同,则可以标记为不同的用户。结合访问信息、引用日志和站点拓扑,就能列出用户浏览的众多路径,若请求的页面与用户已浏览的页面不存在链接关系,则认为存在IP地址相同的多个用户。 会话是指用户在一次访问网站期间所进行的活动,会话识别的任务就是把属于同一用户的同一次访问请求识别出来。不同的用户访问属于不同的会话,同一用户相邻两次访问时间跨度较大时,可以认为该用户开启过两次不同会话。一般时间戳Timeout设定为30分钟。扫描日志文件中按照用户分类的日志记录,可完成对所有用户的会话识别,进而完成整个日志文件的会话识别。会话识别是Web日志挖掘的基础和关键,只有识别出高质量的会话,才能有效地实现模式识别和模式分析,从而为应用提供有意义的数据支持。 2 站页面序列 用户频繁访问路径是用户在一个时间段中多次浏览的连续网站页面序列。在求得MFP的基础上,逐次扫描每个用户会话的所有MFP,迭代产生长度为len 的候选子路径,通过计算候选路径的频繁访问支持度从而产生频繁访问路径。 2.1 r介绍的rwp更新 定义1 用户会话S是一个二元组Uid,p,其中Uid为用户标识,p为用户在一个时间段内访问的页面的集合,它由用户访问的页面Pi和用户访问一个页面所停留的时间L(访问时间长度)构成,即:S=Uid,{(P1,L1),(P2,L2)…(Pn,Ln)} 。 定义2 最大向前路径MFP(maximum forward path)是指用户会话中的首个网站页面至回退的前一个网站页面所组成的路径。如:一个用户会话页面顺序是P1-P2-P1-P3-P4-P3,则对应的MFP为P1-P2和P1-P3-P4。 定义3 设P={x1,x2,…,xn}为用户顺序访问的页面集合,Fmin为最小支持度,若包含P路径的MFP数所有MFP数×100%≥Fmin包含Ρ路径的ΜFΡ数所有ΜFΡ数×100%≥Fmin,则称路径P为频繁访问路径。频繁访问路径就是MFP中满足一定支持度的连续页面序列,频繁访问路径的长度为其包含的页面数。 定义4 包含频繁访问路径的用户会话数目称为支持度。用FPlen表示长度为len的频繁访问路径的集合,则最频繁的K个访问路径的集合为FPlen_k={Plen_1,…Plen_k}。 定义5 若两个连续的len-1长的子路径{xj,… xj+len-2}和{xj+1,…xj+len-1}都是FPlen-1的元素,即它们的支持度都不小于Plen-1_k的支持度,则称{xj,…xj+len-1}为FKlen的候选路径。 2.2 确定mfp集合,确定len浓度 要挖掘长度为len的频繁访问路径,实际上就是要构造出FPlen。从MFP中找出长度为len的候选路径{xj,…xj+len-1},计算它在用户所有会话中的支持度。支持度最大的K个路径的集合就是FKlen_k。 FPk的构造算法如下: input:备选MFP集合,最小支持度Fmin; output:长度为len的频繁路径集合FPlen(len1)。 for每个用户会话s{ for s中的每个MFP{x1, x2, …, xk}{ if (len≤k){ for (j=l;jk-len+l;j++){ if{ xj,…xj+len-1}已经在FPlen中 {xj,…xj+