第2章.信息资源管理中的内容管理.ppt

搜索引擎的结构 （2）分析器和索引器 分析器即分析程序，功能是理解搜索器所搜索的信息。它通过一些特殊算法，从Spider程序抓回的网页源文件中抽取出索引项。索引项有形式索引项和内容索引项两种：形式索引项如作者名、URL、更新时间、编码、长度、链接流行度（Link Popularity）等等；内容索引项是用来反映文档主题内容的，如关键词及其权重、短语、单词等等。内容索引项可以分为单词索引项和多词索引项（或称词组索引项）两种。单词索引项对于英文来讲是英语单词，比较容易提取，因为单词之间有天然的分隔符（空格）；对于中文等连续书写的语言，必须进行词语的切分。还要给内容索引项赋予不同权值，以表明这些与网页内容的相关程度，以判断网页内容。 搜索引擎的结构 （3）索引器 索引器将生成从关键词到URL的关系索引表。索引表一般使用某种形式的倒排表(Inversion List)，即由索引项查找相应的URL。索引表也可能要记录索引项在文档中出现的位置，以便检索器计算索引项之间的相邻关系或位置关系(Proximity)，并以特定的数据结构存在硬盘上。索引器可以使用集中式标引算法或分布式标引算法。当数据量很大时，必须实现即时索引（Instant Indexing），否则不能够跟上信息量急剧增加的速度。标引算法对索引器的性能（如大规模峰值查询时的响应速度）有很大的影响。一个搜索引擎的有效性在很大程度上取决