面向丝绸领域的垂直搜索引擎关键算法研究.pdfVIP

面向丝绸领域的垂直搜索引擎关键算法研究 中文摘要 面向丝绸领域的垂直搜索引擎关键算法研究 中文摘要 垂直搜索引擎是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一 次整合，定向分字段抽取出需要的数据进行处理后以某种形式返回给用户。垂直搜索 引擎与传统的网页搜索引擎最大的区别就是将网页中的信息进行结构化的抽取。使得 信息在抽取的时候就建立了分类，更好的适应查询需求。近几年来，垂直搜索引擎已 经被应用到某些专业的领域，如化学。 本文从研究和设计的角度对垂直搜索引擎的相关技术作了详细的分析和讨论，论 述了目前搜索引擎的国内外发展现状和趋势。分析了搜索引擎的工作原理及其各部分 主要功能，抓住如何评价页面的主题相关性和设计高效的爬行策略这两个关键问题， 提出一个基于丝绸信息的定题搜索器，它是垂直搜索引擎的核心。在文章的主体部分， 以搜索引擎的设计流程为主线，重点论述垂直搜索引擎设计与实现时一些独特的信息 之间的超链接分析，按照搜索引擎系统的要求，采用深度优先的搜索策略设计具有垂 直搜索引擎功能的丝绸信息网站。并按照软件工程的方法，研究了丝绸信息搜索引擎 的总体设计过程和实现过程，设计过程重点论述了需求分析、网站的功能规划和总体 结构、数据库设计等内容，并通过编码实现设计阶段的各种算法和具体功能。 最后的软件功能测试表明，此搜索引擎算法准确、确定、不会引起本地资源耗尽； 它支持按指定站点搜索，按给定URL范围进行搜索的搜索策略。可以完成指定信息的 自动搜索和下载。 关键词： 垂直搜索引擎网页信息抽取抽取规则索引库 作 者：张小莉 指导老师：姚建民 Abstract —S—．．t—．．u．．．d．．．．y．．．．．．o．．．n．．．—t—heKeyAgiorithmofV—e—rtic—leSea—rchingEng——i——n———e———。．．i．．n．．．．．．S．．．．i．．1．．k．．．．．A．．．．．r．．．e—a— onthe ofVerticleSearch Study KeyAglorithm in ’SilkSilkArea eEngnignEaerA Abstract nleverticalsearch isabranchand ofthesearch Can engine extension engine．which inacertainfieldfrom and information websites．Acustomizeddata classify mining the Canbe andreturnedtousers．Thedifferencebetween integrationimplemented major verticalsearch andtraditionalsearch isthatitselectstheinformationfrom engine engine