3文档解析-短语和n元串.pptVIP

3 文档解析-短语和n元串 短语 对信息检索很重要，很多检索词都是短语组成 找到含有这些短语的文档是有效的排序算法的一部分 含有查询短语的文档一定比含有短语中词汇的文档更加相关 如，查询“black tea”，包括查询短语的文档比包含black和tea的文档更加相关 短语的限定，尤其是修饰部分，会给检索的准确性带来帮助 如，“tropical fish”和“fish” 短语影响排序的细节 问题与搜索引擎包含的特定检索模型紧密联系 是否应该在词素切分和词干提取的同时识别短语，进而来对短语建立索引，加速查询处理，提高查询结果的相关度 1 短语和n元串 短语定义及识别 短语等价于简单的名词短语 只包含名词或名词前的形容词的序列 用句子的语法结构来识别短语 可以使用POS （part of speech）来识别 词性标注器根据上下文信息对文本中的每个词赋予一个词性标记 词性标注器基于统计或者规则的方法，使用人工标注的大规模语料库训练 一般的词性标记包括NN（单数名词）、NNS（复数名词）、VB（动词）、VBD（动词过去式）、VBN（动词过去分词）、IN（介词）、JJ（形容词）、CC（连词）、PRP（代词）、MD（情态助词）等等 标注器识别短语问题 2 TREC、专利语料库中高频简单名词短语 3 短语与n元串 词性标注可以产生合理的短语，对于大规模语料库，该方法比较慢，效率低 另外一种方法，