面向石油的主题搜索引擎分析研究.pdfVIP

摘 要 近年来，我国石油行业信息化建设发展迅速，但针对石油专业信息检索的主题搜索 引擎却寥寥无几。现有的搜索引擎相关技术大多面向综合型搜索引擎，对主题信息检索 的研究并不完善，因此研究和开发专业的石油主题搜索引擎具有很大的价值和意义。 介绍了主题搜索引擎的发展现状和工作原理，阐述了主题爬虫的工作原理和搜索策 略。在研究了国内外主题搜索引擎相关技术的基础上，分析了现有技术的不足之处，提 出了几点改进。 解析石油主题网页生成DOM树，设计了基于DOM的词共现模型。在该模型的基础 上，根据共现信息扩充石油主题词表，从而建立石油主题词典。石油主题词典在原有词 表的基础上加入了更多的石油主题词汇，具有更明显的石油主题特征。 综合考虑了多种因素对权重的影响，分解了TFIDF权重公式。以文本段为单位计 算相似度，改进了N层向量空间模型的权重计算公式，降低了向量空间的维数。 提出了一种基于反向链接上下文的自适应主题爬行策略。利用相关网页的反向链接 上下文来完善特征库，同时根据特征库来计算链接的优先值，优化了链接优先级的计算。 实验证明，在性能上，基于反向链接上下文自适应算法要优于基于链接上下文的传统算 法，没有主题漂移现象，且达到了自适应的效果。 关键词：主题搜索引擎，石油主题词典，向量空问模型，反向链接上下文，自适应主题 爬虫 Search aboutPetroleum ResearchofFocusedEngine Subject Li ication Appl Technology) Han(Computer DirectedProf．LiCunhe by Abstract Information inthe few thereislittlefocused industrydevelopedrapidlypast years，but areaboutthe search about theme．Mostofthe researches engine petroleum existing andtheresearchesabout themeare search petroleum imperfect．So syntheticallyengine toresearchthefocusedsearch aboutPetroleum significance engine Subject． ofthefocusedsearch Introducetheresearchactualand engine． ity workingtheory andsearch offocused allthe the study theory strategies spider．After Expoundworking inthe