基于SVM的主题爬虫技术研究.pdfVIP

第 42卷 第 2期 计 算 机 科 学 Vo1．42No．2 2015年 2月 Computer Science Feb 2015 基于 SVM 的主题爬虫技术研究 李 璐 张国印 李正文。 (军工保密资格审查认证中心实验室 北京 100089) (哈尔滨工程大学计算机科学与技术学院 哈尔滨 150001) 摘 要 随着互联网的快速发展，网络信息呈现海量和多元化的趋势。如何为互联网用户快速、准确地提取其所需信 息，已成为搜索引擎面临的首要问题。传统的通用搜索引擎虽然能够在较大的信息范围内获取 目标，但在某些特定领 域无法给用户提供专业而深入的信息。提出基于 SVM 分类的主题爬虫技术，其将基于文字 内容和部分链接信息的 主题相关度预测算法、SVM 分类算法和 HITS算法相结合，解决 了特定信息检索的难题。实验结果表明，使用基于 SVM分类算法的爬取策略，能够较好地区分主题相关网页和不相关网页，提高了主题相关网页的收获率和召回率，进 而提高了搜索引擎的检索效率。 关键词 SVM，主题爬虫，爬取策略，HITS 中图法分类号 TP302．1 文献标识码 A DO1 10．11896／j．issn．1002—137X．2015．2．025 ResearchonFocusedCrawlingTechnologyBasde onSVM LILu ZHANG Guo-yin LIZheng-wen (DefenceIndustrySecrecyExaminationandCertificationCenterLaboratory，Beijing100089，China) (CollegeofComputerScienceandTechnology，HarbinEngineeringUniversity，Harbin 150001，China) Abstract W iththerapiddevelopmentofInternet，networkinformationcomestobemassiveanddiversity．HOW topro videtheinformation requiredbyusersrapidlyand exactlyisthefirsttask ofthesearch engine．Traditionalgeneral searchenginecanprovidetheinfomr ationinthegeneralarea，butinthespecialarea，itcannotprovidetheprofessional and in-depth information forusers．Inthispaper，thefocused crawlerbasedontheSVM classificationalgorithm was proposedofrasolutiontOtheproblem ofinfomr ationretrievalinthespecialarea，whichmakesuseofthetopicrelevance predictalgorithm basedonthecontentandpartiallinkinformation，theSVM classificationalgorithm andtheHITSal— gorithm．TheexperimentshowsthatthecrawlingstrategybasedontheSVM classificationalgorithm candi．stingu；．shthe topicrelatedpagesandtopicunrelatedW ehpagesbetter，improvetheharvestrateandrecallrate，and furthermore