关联规则及相似项（下）.pptVIP

数据挖掘与决策支持 教师：徐硕 电话8006 Email: xush@ OR pzczxs@ 课程网址： 13/dmwiki/index.php?id=course:datamining15 课程主要内容 绪论（Introduction） 关联规则及相似项（Association Rule Similar Items） 调查问卷分析方法（Questionnaire Analysis） 分类和预测（Classification Prediction） 序列标注（Sequence Labeling） 聚类分析（Clustering） 主题模型（Topic Model） 第三章：关联规则及相似项（下） 相似项发现及应用 相似项检测方法 近似：基于LSH的文档相似性检测 精准：SpotSigs相似性检测 本章小结 场景完成问题（1/2） 场景完成问题（2/2） 相似项发现应用：抄袭检测（1/3） 文档抄袭检测问题，非常考验文本相似度发现的能力 抄袭者可能会从其他文档中，将某些部分的广西据为已用 也可能对某些词语，或者原始文本中的句序进行改变 尽管如此，最终的文档中可能仍然有50%，基至更多的内容来自别人的原始文档 当然，一个复杂的抄袭文档，很难通过简单的字面比较来发现 相似项发现应用：抄袭检测（2/3） 相似项发现应用：抄袭检测（3/3） 相似项发现应用：镜像页面 重要或流行的Web站点，通常会在多个主机上，建立镜像以共享加载内容 这些镜像站点的页面十分相似，但并不完全相同 例如，这些网页可能包含与其所在的特定主机相关的信息，或者包含对其他镜像网站的链接 另一个例子：课程网站的互相套用 相似项发现应用：同源新闻稿 通常一个记者会撰写一篇新闻稿，然后分发到各处 比如通过美联社到多家报纸，然后每家报纸会在其网站发布该新闻稿 每家报纸会对新闻稿进行某种程序的修改，比如去掉某些段落或者加上自己的内容 在新闻稿周围会有各报社自己的LOGO、广告或者指向自己站内其他新闻稿件的链接等 但是每家报纸的核心内容，还是原始的新闻稿 相似项应用：搜索引擎 检测出这种类型的相似网页非常重要，可以避免在返回的第一页结果中，包含几乎相同的多个网页 相似项发现问题 给定N（百万或上亿）个项组成的集合，找到高于某个阈值的所有项对 第三章：关联规则及相似项（下） 相似项发现及应用 相似项检测方法 近似：基于LSH的文档相似性检测 精准：SpotSigs相似性检测 本章小结 基于LSH的文档相似性检测 文档Shingling 为了识别字面上相似的文档，将文档表示成集合的最有效的方法，是构建文档中的短字符串集合 如果文档采用这样的集合表示，那么有相同句子，甚至短语的文档之间，将会拥有很多公共的集合元素 即使两篇文档中的句序并不相同，也是如此 文档是一个字符串，文档k-shingle定义为其中任意长度为k的子串 每篇文档可表示成，文档中出现的k-single的集合 文档Shingling：实例 假设文档D为(a, rose, is, a, rose, is, a, rose)，选择k = 4，文档D中的所有4-shingle： 集合表示：{(a, rose, is, a), (rose, is, a, rose), (is, a, rose, is)} 多重集合（multi-set）或袋（bag）表示：{(a, rose, is, a): 2, (rose, is, a, rose): 2, (is, a, rose, is): 1} 集合相似度/距离计算 Jaccard相似度 通过计算交集的相对大小，来获得集合之间的相似度 sim(C1, C2) = |C1?C2|/|C1?C2| Jaccard距离 d(C1, C2) = 1 - |C1?C2|/|C1?C2| 相似度为3/8，距离为5/8 多重集合相似度/距离计算 A = {a: 3, b: 1} B = {a: 2, b: 2, c: 1} sim(A, B) = 3 / 6 = 0.5 A和B的交集为两个a，一个b； A和B的并集为三个a，两个b，一个c Shingle大小的选择（1/3） 文档A = (a, rose, is, a, rose, is, a, rose) 文档B = (a, rose, is, a, flower, which, is, a, rose) 选择k = 1 A：{a: 3, rose: 3, is: 2} B：{a: 3, rose: 2, is: 2, flower: 1, which: 1} 集合：sim(A, B) = 3/5 = 0.6 多重集合： sim(A, B) = 7/10 = 0.7 选择k = 2 A: {(a