02信息检索系统及其构成.pptVIP

* * * * * * * * * * * * * * * * * * * * Content Layouts * * * * Content Layouts * * * * * * * * * * * * * * * * * * * * * * * N-gram法 N-gram(N0)，是指由N个相邻字符组成的字符串序列。 对文本进行处理，可得到该文本所包含的长度为N的字符串集合。 对“数字图书馆”进行4-gram处理， 有 {数字，字图，图书，书馆} 对“information”进行4-gram处理，有{info, nfor, form, orma, rmat, mati, atio, tion} N-gram法 N-gram法是一种与语种无关的纯统计分析式的文本处理技术 这种方法通过对汉语文本中的N-gram指标的出现频率进行统计分析，无需词典和规则，可大大提高文本标引的处理速度和自动化水平 2.3 信息存储各功能模块分析 自动标引中的词频统计和加权方案 自动标引中的词语加权方案 绝对词频法 逆文档频率法 词区分值法 绝对词频法 假设：当某个作者要深入阐述或解释某一话题时，它常常会重复使用某些特定的词语 这种强调手法可以作为判断词重要性的一种标志。也就是说，把词在文档中的出现频次作为该词重要性的一种有效测度 绝对词频法 基本原理 在给定的一个由N篇