usersession识别,聚类,异常检测资料.pptx

Usersessiontesting学生：王微微导师：赵瑞莲教授会话识别会话约减---聚类会话异常检测Part1会话识别存在难题：1.web日志信息不完整2.用户退出会话时间不可确定性3.IP共享问题4.交叉会话问题会话识别算法：1.基于时间的启发式会话识别算法2.基于引用的启发式会话识别算法第二种方法假设：用户在浏览网页时，主要通过点击超链接进入下一个页面，而不是直接输入请求页面的网址（URL）来访问网页。一个请求页面的“引用页”是指其中含有该页面超链接的页面。若一个页面请求不能通过一个会话中的所有页面的超链接得到，则将这个页面请求划分至另一个新的会话中去。对于基于引用的方法，其在处理空引用的问题上存在一定缺陷。当服务器日志中有一些页面请求无引用页时，常常会导致用户活动链的断裂。张帅,陈兴蜀,童浩,等.基于引用启发式和URL语义相结合的会话识别方法[J].计算机应用研究,2014,31(1):102-105.Mapsession是指根据时间阈值划分后的日志，在阈值内生成的会话;reducesession是指对相邻时间内的会话合并生成的会话。Mapsession根据固定的阈值划分日志，在划分后的日志中根据引用页面划分会话，对于阈值间的相邻会话进行连接、去重等操作生成若干个session，而reducesession则利用URL语义将相关的session合并成一个session。RQ1改进：由于连接、去重等操作过于繁琐，是否可以考虑逆序——先用引用启发式划分会话，在会话内部利用相对时间阈值拆分会话。Part1会话识别凌海峰,余笪.基于聚类的Web用户会话识别优化方法[J].计算机应用研究,2012,29(8):2862-2864.基本思想就是：如果两个连续页面的访问时间间隔越大，则它们属于相同会话的可能性就越小。Part1会话识别周松松,马建红.基于URL相似度的会话识别方法[J].计算机系统应用,2014(12):191-196.核心：针对第k个用户的会话日志，按时间排列URL，两条URL的相似度为γγ=0.382*α(URLjk,URLj+1k)+0.618*β(URLjk,URLj+1k).Levenshtein算法计算出的相似度为α,LCS算法计算出的相似度为β结果：γ在阈值内，二者属于同一会话，否则为两个会话。RQ2:在用聚类进行会话识别时，准确率的影响因素是什么？---页面访问相对时间、URL相似度聚类的相似性度量是否可以改进？Part1会话识别Part2会话约减---聚类聚类---欧基米德距离评估会话相似度，凝聚分层聚类，每个类中随机挑选一个会话作为一个测试用例。多种聚类算法：k-means,Expectation-Maximization(EM),ACOPSO(混合蚁群)等；关键点在于相似性度量。现有的相似性度量方法有：usage-based，frequency-based，viewingtime-based等。Part2会话约减---聚类Usersession：URL和name－value；如果会话的URL和参数相似则他们的代码覆盖也是相似的，所以可以利用URL和参数类型来判断会话的相似（距离）。——孙琳杰整理郑富兰,吴瑞.基于用户特性的Web会话模式聚类算法[J].计算机应用与软件,2014,31(2):283-286.以访问相对时间和频次作为相似性度量参数。梁力图,陆璐.基于用户会话的Web应用性能测试方法的研究[J].计算机科学,2014,41(11):46-49.文章提出一种利用服务器日志中的用户会话信息、结合经过序列匹配算法改进的层次凝聚算法来自动产生web应用性能测试脚本的方法。为确保会话的序列性，文章使用序列比对算法代替欧几里德距离来衡量用户会话相似度。序列匹配算法可以把比对序列左移或右移并加上一个“gap”来寻求最优的匹配，确保最优路径。RQ3：两个会话可以聚为一类取决于二者的相似度；目前使用的相似性度量：URL使用频次，访问相对时间，URL有序性，URL及参数；Part2会话约减---聚类序列匹配算法考虑到了URL序列的有序性。Part3web会话异常检测——Anomalybasedintrusiondetection1.基于特征匹配的入侵检测——专家系统2.数据挖掘——自动提取特征并建立检测模型第二种方法优势：误报率低、检测率高、自适应性好、能处理海量数据。常用数据挖掘方法：关联规则挖掘，分类，聚类，频繁模式挖掘等。MitchellR,ChenR.Asurveyofintrusiondetectioninwirelessnetworkapplications[J].ComputerCommunications,2014,42:1-23.Anomalybasedintrusiondetecti