垂直搜索引擎主题特征提取及相关度算法研究.pdf

摘 要 搜索引擎是人们获取海量网络信息的首要工具，是网络研究和应用的关键内容。目 前随着Intemet信息的爆炸增长以及信息多元化的发展，快速有效地获取需要的相关信 息变得越来越困难，综合性的搜索引擎已不能适应用户对信息检索的准确性要求，专业 化的、面向主题的垂直搜索引擎正成为研究的热点与发展趋势。 本文重点研究中文Web主题信息获取与检索技术，设计和实现了一个以计算机专 TechnicalLiterature 业技术文献信息采集为核心的垂直搜索引擎CTLS(Computer Searcher)。 论文分析了搜索引擎国内外目前的研究现状及发展趋势，探讨了专业搜索引擎目前 主要存在的问题及现行专业搜索引擎所采用的搜索策略存在的缺陷。针对中文分词中歧 义字段的切分问题，提出一种对中文句子进行分词预处理的方法，在预处理的基础上实 现了一种改进的MM算法，使分词系统在机械分词阶段具有比MM算法更好的效果。 针对垂直搜索引擎网络蜘蛛搜索路径的选择策略问题，提出了非贪婪的 V．Rank搜索策略，指引网络蜘蛛动态调整下载方向，优先下载可能包含有相关主 题内容的页面，有效地实现搜索引擎的专业化。在信息检索方面，提出了基于向量空间 模型的自适应分类算法IVSM对网页从内容和结构两方面进行相关性过滤。 论文提出了基于网页分块的爬行算法。解决了网页多主题的困难，并有效地去除了 网页中的噪音信息，使得网络爬行的启发信息能准确地被收集。提出了一种比较理想的 垂直搜索引擎设计方案，并实现了一个面向计算机主题的垂直搜索引擎系统CTLS。研 究并设计出了适合专业资源采集的分布式Robot体系结构。 最后总结了面向计算机专业技术主题的垂直搜索引擎系统的研究和开发经验，并指 出了系统的应用前景以及下一步研究的方向。 题爬行 I Abstract for to informationfromthe Search isthemost tool get engine importantquery people intemetresearchandutilization．But the WorldWideWebandthe tothe currently,with key multivadant comestobemoreandmore WWWinformation’Sand up，it blasting growing tothe ofweb search difficulttoretrieverelevantinformation．Due complexitypages，general tomeetusers’demands．Henceand havefoundmoredifficult special engines verticalsearch is a focusanddirection． technologybecomingresearching engine information Thisdis