搜索引擎关 键技术——文本处理课程设计.pptVIP

网络搜索引擎关键技术——文本处理;一.搜索引擎的关键技术;2.信息预处理技术 信息预处理系统的主要工作是从抓取的网页中提取能够代表网页的属性，并将这些属性组成网页的对象，然后根据一定的相关度算法进行计算，得到每一个网页针对页面内容及链接每一个关键词的相关度，并用这些信息建立索引数据库。 关键词的提取 重复或转载网页的消除 链接分析 网页重要程度的计算;3.信息索引技术 信息索引就是创建文档信息的特征记录，以便用户能够快速地检索到所需信息。 信息语词切分和语词词法分析 进行词性标注及相关的自然语言处理 建立检索项索引 检索结果处理技术 ;文本处理的过程包括如下5个步骤： 文本的词法分析 无用词汇的删除 词干提取 索引词条/词干的选择 构造词条的分类结构 ;1.词法分析; 在对英文进行分词的过程中，除了空格分隔符，还有几种特殊的情况要处理：数字、连字符、标点符号和字母的大小写。 数字 数字一般不作为索引词，因为如果没有上下文的联系，它们的含义是模糊不清的。 现在常用的做法是保留一些专门指出的（通过与正规表达式的匹配）数字，而将其他数字过滤掉。;连字符 对连字符来说，也有两难情况。 一种方法是将连字符都忽略掉，例如state-of-the-art等同于state of the art。但是，有些带有连字符的单词本身是一个完整的单词，如gilt-edged。 对于连字符的处理，目前常用的是首先采用一定的规则选出那些对词义有影响的连字符号，然后将其他连字符都过滤掉。 ;标点符号 对于文本中的标点符号，一般说来在词法分析过程中将被全部去除。但是，对于那些成为单词中一部分的标点符号来说，又要慎重考虑是否删除标点。 另外一种特殊情况是程序片段出现在文本中，这时就要区分变量x.id与xid了。这种情况下，标点符号应该保留。;字母的大小写 字母的大小写对于区分索引词条来说一般不是很重要，因此可以将文本中的所有词条都转换成大写或者小写。 但是也存在特殊情况，例如对于描写UNIX命令的文档，由于大小写都是约定俗成的，因此用户并不希望改变文档中的大小写。对于此种情况，就要特殊处理。 ;2.中文分词技术;中文分词方式;二分法 二分法是指每两个字进行一次切分。 该方法完全不考虑语义、语境，机械地对语句进行处理，不是很好的分词方式。 词库分词 该方法是用一个已经建立好的词的集合（按某种算法）去匹配目标，当遇上集合中已经存在的词时，就将其切分出来，是一种较理想的中文分词方式。;中文分词算法;正向最大匹配法FMM（Forward Maximum Matching method）;逆向最大匹配法BMM（Backward Maximum Matching method）;双向匹配法BM（Bi-direction Matching method）;最少匹配算法FWM（Fewest Words Matching method） 该算法实现的分词结果中含词数最少。 设立切分标识法 该算法的思想是：优先在待分析字符串中识别和切分出一些带有明显特征的词，以这些词作为断点，可将原字符串分为较小的串，然后用FMM或BMM法进行细分。 例：“这种设计方法学的理论，不可能有用” ;基于理解的分词方法;基于统计的分词方法;分词中的难题;新词识别;3.无用词删除;4.词干提取;词干提取方法;5.索引词选择;6.词典;词典的主要作用：