user session识别,聚类,异常检测.pptxVIP

User session testing 学生：王微微 导师：赵瑞莲教授 会话识别 会话约减---聚类 会话异常检测 Part1 会话识别 存在难题：1.web日志信息不完整 2.用户退出会话时间不可确定性 3.IP共享问题 4.交叉会话问题 会话识别算法： 1.基于时间的启发式会话识别算法 2.基于引用的启发式会话识别算法 第二种方法假设：用户在浏览网页时，主要通过点击超链接进入下一个页面，而不是直接输入请求页面的网址（URL）来访问网页。 一个请求页面的“引用页”是指其中含有该页面超链接的页面。若一个页面请求不能通过一个会话中的所有页面的超链接得到，则将这个页面请求划分至另一个新的会话中去。 对于基于引用的方法，其在处理空引用的问题上存在一定缺陷。当服务器日志中有一些页面请求无引用页时，常常会导致用户活动链的断裂。 张帅, 陈兴蜀, 童浩, 等. 基于引用启发式和 URL 语义相结合的会话识别方法[J]. 计算机应用研究, 2014, 31(1): 102-105. Map session 是指根据时间阈值划分后的日志，在阈值内生成的会话; reduce session 是指对相邻时间内的会话合并生成的会话。 Map session 根据固定的阈值划分日志，在划分后的日志中根据引用页面划分会话，对于阈值间的相邻会话进行连接、去重等操作生成若干个session， 而reduce session 则利用URL语义将相关的session 合并成一个session。 RQ1改进：由于连接、去重等操作过于繁琐，是否可以考虑逆序——先用引用启发式划分会话，在会话内部利用相对时间阈值拆分会话。 Part1会话识别 凌海峰, 余笪. 基于聚类的 Web 用户会话识别优化方法[J]. 计算机应用研究, 2012, 29(8): 2862-2864. 基本思想就是：如果两个连续页面的访问时间间隔越大，则它们属于相 同会话的可能性就越小。 Part1会话识别 周松松, 马建红. 基于URL相似度的会话识别方法[J]. 计算机系统应用, 2014(12):191-196. 核心：针对第k个用户的会话日志，按时间排列URL，两条URL的相似度为γ γ= 0.382 * α(URLjk,URLj+1k) + 0.618 * β(URLjk, URLj+1k). Levenshtein 算法计算出的相似度为α,LCS 算法计算出的相似度为β 结果： γ在阈值内，二者属于同一会话，否则为两个会话。 RQ2:在用聚类进行会话识别时，准确率的影响因素是什么？ ---页面访问相对时间、URL相似度 聚类的相似性度量是否可以改进？ Part1会话识别 Part2 会话约减---聚类 聚类---欧基米德距离评估会话相似度，凝聚分层聚类，每个类中随机挑选一个会话作为一个测试用例。 多种聚类算法：k-means, Expectation-Maximization (EM), ACOPSO(混合蚁群)等； 关键点在于相似性度量。 现有的相似性度量方法有：usage-based，frequency-based，viewing time-based等。 Part2 会话约减---聚类 User session：URL和name－value；如果会话的URL和参数相似则他们的代码覆盖也是相似的，所以可以利用URL和参数类型来判断会话的相似（距离）。 ——孙琳杰整理 郑富兰, 吴瑞. 基于用户特性的 Web 会话模式聚类算法[J]. 计算机应用与软件, 2014, 31(2): 283-286. 以访问相对时间和频次作为相似性度量参数。 梁力图, 陆璐. 基于用户会话的 Web 应用性能测试方法的研究[J]. 计算机科学, 2014, 41(11): 46-49. 文章提出一种利用服务器日志中的用户会话信息、结合经过序列匹配算法改进的层次凝聚算法来自动产生web应用性能测试脚本的方法。 为确保会话的序列性，文章使用序列比对算法代替欧几里德距离来衡量用户会话相似度。 序列匹配算法可以把比对序列左移或右移并加上一个“gap”来寻求最优的匹配，确保最优路径。 RQ3：两个会话可以聚为一类取决于二者的相似度； 目前使用的相似性度量：URL使用频次，访问相对时间，URL有序性，URL及参数； Part2 会话约减---聚类 序列匹配算法考虑到了URL序列的有序性。 Part3 web会话异常检测—— Anomaly based intrusion detection 1.基于特征匹配的入侵检测——专家系统 2.数据挖掘——自动提取特征并建立检测模型 第二种方法优势：误报率低、检测率高、自适应性