第二讲：文本处理(4章).pptVIP

3.7 重复文档的检测 文 档重 复现 象 互联网上重复和近似重复的文档非常普遍(除重复源外，抄袭、广告等垃圾信息) URL地址指向同一网页，以及镜像站点(爬虫重复爬取页面) 一个大型信息采集系统，通常有30%是重复信息 重复信息的影响 大量非常相似文档的存在，使信息采集、索引、搜索过程，消耗大量资源，却提供少量有用信息 重复文档检测 完全重复检测：检验和(checksumming)技术 (更复杂的有：*循环冗余校验cyclic redundancy check，CRC) 并参考 /p-258140614.html 近似重复检测方法： 1) 基于词(及权重)表达文档，并计算相似性(发现与给定文档的相似性) 2) 基于指纹表达文档，并计算相似性(在集合中找所有相似文档对) （相似性判定：对两文档的指纹，计算所包含的相同指纹数量） 循环冗余校验CRC 文档指纹生成过程 例子：文档指纹的生成 simhash指纹技术* 例子：simhash指纹的计算* 3.8 文档噪声处理 文档噪声 一些网页中含有文本、链接、图片等，但未必与主要内容相关 例如，广告、徽标logo、热链接等，（如图3-16） 去除文档噪声的理由 搜索引擎中使用的页面内容表示组件主要是基于词统计的 无关文本（广告文本，热链接的锚文本）会干扰页面内容表示 无关文本、链接、图片等，会大量增加处理和空间消耗 去除文档噪声的技术 (对网页中内容块进行检测的噪声判定技术) 法1：Finn(2001)-基于HTML标签分析提出的判定方法 法2* ：还有Pinto(2002)-对上方法的改进，基本思路是： “使用一个文本窗口对文档斜率曲线中低斜率部分进行搜索” 法3：Gupta(2003)-利用网页的结构来识别页面的内容块# Finn(2001)噪声判定方法 核心思想 网页中，主要内容文本会比附加内容文本含有更少量的HTML标签 例如，图3-6中页面的词素-标签统计图3-17，网页主要正文位于”平坦区域” 平坦区域的检测方法 用(长为N)二进制位序列表示网页(设网页中词素总数为N) 若第n个词素是一个标签，则bn=1； 否则(即其它所有词素) ，bn=0； 注意：这里忽略 “字体、标题、表格”等标签， (即也用0表示) 这样，(平坦区域P)主要内容块的检测是一个优化问题： 找到i，j两值，使目标函数最大化： P前标签数+P中其它词素数目+P后标签数 使用限制：主要适合于非内容块满足“文本词素比例小于标签的比例的情形” （否则对内容模块平台区域的识别将较为困难！） 文档噪声的例子： Gupta(2003)噪声判定方法 文档对象模型DOM 浏览器显示网页时，HTML解析器使用标签解释页面指定结构(DOM) DOM类似一个树结构，用于识别网页中主要的部分 例如：图3-16中页面的DOM树如图3-18 Gupta噪声判别方法(思路) 通过遍历DOM树，采用不同过滤技术，来删除DOM树中的节点(如图片，脚本、广告、链接列表、无内容的表格，等元素) ，只留下内容部分 该方法非常适合于识别只包含单一内容块的网页 *如何识别多内容块页面？ 办法是：侧重于视觉——页面布局和外观 （如定义显示信息的：块的位置，字体大小，背景颜色，分隔符，等） 结合DOM树和视觉分析，可以处理含有多个内容块的页面# 图3-18： 图3-16页面的DOM树 一、文本处理简介 文本处理 (爬虫)获得文本后，需决定是否修改或重构这些文本，以简化搜索 这个过程被称为文本转换/文本处理 处理目的：将词语可能出现的多种形式转化为更加一致的索引项 （可用它表示文本内容）建立索引库的重要基础！ 精确搜索 (文本处理的基本服务对象) 最简单的文本处理是什么都不做，如文字处理器的“查找”： 当键入查找词后，扫描文档，并精确匹配到键入词位置 这种搜索叫“精确搜索”，这种功能非常有用 局限性：甚至未考虑大小写敏感问题（computer不能匹配Computer） 还好，大多数的字处理软件有忽略大小写的选项 大多数的搜索引擎不区分大小写 其它处理事项（看似简单，但对搜索结果影响大） 忽略标点符号，词素切分，词串(成语，短语)切分 去除停用词(频繁词,无意义词)，词干提取(允许run与running匹配) 格式改变(字体，大小)，结构处理（标题，章节），链接处理 信息抽取（识别：新词、人名、组织名、地址），分类，多语言问题# 二、文本统计 文本统计的作用 虽然语言丰富和多变，但仍然是可以预见的! Luhn于1958指出：一个词的重要性取决于它在文档中出现的频率 表示词语出现规律的统计模型，对于信息检索非常重要： 被应用于搜索引擎的关键部件(排序算法、查询转换