LSI文本挖掘技术剖析.pdf

pp rr ff PP ee ll oo ii gg ss zzPP zz zz 农业 图书情报学刊：信息论坛 第 28卷 1相关背景知识 1．2．1词项加权 1．1搜索服务的本质 在VSM 的高维空间里，对象所携带的信息 (一个 搜索服务通常以搜索引擎的形式出现，对用户输 实数)反映了某个词项与某个文档之间的关系，数值 入的查询字符串作出响应。经过某种算法的处理，按 越大关系则越紧密。在这里以a。j表示第 i个词项与第J 顺序返 回一系列与搜索 内容相关的超链接(hyperlinks)。 个文档之 间的关系 ，介绍 3种 目前最流行 的词项加权 受用户本身知识结构所限以及查询 内容输入的随意性 方案 。 p 等因素的影响，搜索引擎并不总能返回符合用户本意 第一种是位加权 。在这种最简单的方案中，当词 的结果。一方面 由于可能出现的词项匹配上 的错误 ， 项 t在文档 d中出现时， i=1；当在整篇文档 d中都没 返 回结果包含 了用户不感兴趣 的内容 ：另一方面 。由 有出现词项 t时，aii=0。由于只有一位数据存储信息 r 于机器语言与 自然语言之间存在的显著差异 ，一些实 (0和 1两种情况)，位加权方案无法反映不同词项与文 际上与搜索 内容密切相关的文档被搜索算法排除。 档之间关系的强弱。 对于搜索引擎而言 ．当接收查询字符串后，最直 第二种是词项频率(temr frequency)]JH权 。在此方案 f 观 、保险的做法当然就是返回含有全部或部分用户输 里有 以下等式： P 入字符的链接 。至于结果是否最能令用户满意，有时 =t 并非首要 的考虑 。一直 以来开发人员都致力于优化搜 其中t￡为第 i个词项在第 j个文档中出现的次数。 索引擎的算法 ，以期在响应速度与用户对结果满意度 因此词项频率加权使用了更多的位数。能准确反映某 e 之间找到平衡点。 个词项在单个文档中的重要程度 。但当样本集中大部 1．2基于VSM 的文档相关度计算模型 分的文档里都频繁地出现该词项时 ，它的权重值在矩 l 在信息检索(informationretrieva1)领域里 。传统的标 阵中的指示作用就不那么明显