原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
面向学术系统的定向爬 取技术研究和实现 姓名：李德阳 学号： 2019103310 导师：陆嘉恒 目录 选题依据 预期成果 工作进度安排 课题技术路线及研究方案 学术搜索 ? Google 学术搜索 Google 学术搜索提供可广泛搜索学术文献的简单方法。您可以从一个 位置搜索众多学科和资料。它可以帮助您在整个学术领域中确定相关 性最强的研究。 scholar.google/ ? BASE 学术搜索 BASE 是德国比勒费尔德大学图书馆开发的一个多学科的学术搜索引擎， 提供对全球异构学术资源的集成检索服务。它整合了德国比勒费尔大 学图书馆的图书馆目录和大约 160 个开放资源（超过 200 万个文档）的 数据。 base-search/ ? pandasearch 选题依据 ? 信息量指数增长。 ? 标准爬虫满足不了需求。 慢 ? 标准爬虫缺点 消耗大量的存储空间 带宽资源 容易出错 ? 定向爬虫是为了获得互联网上某一方面的特定信息而设计的。最理想 的定向爬虫是能使获得的页面相关性最大，而不相关性最小。 ? 快速、消耗少量的带宽和存储空间、个人机就可以爬取。 ? 标准爬取和定向爬取 国内外研究现状分析 ? 根据某一特定查询语句来爬取特定文档信息。 seed keywords seed urls seed pages topic keywords web page COMP630D Course Project Report: Implementation of Focused Crawler Yang Yongsheng,Wang Hui Department of CS/EEE, HKUST ysyangcs.ust.hk, whuiust.hk 国内外研究现状分析 国内外研究现状分析 ? The Context Focused Crawler Focused Crawling Using Context Graphs M.Diligenti,F.M.Coetzee,S.Lawrence,C.L.Giles and M.Gori NEC Research Institute,4 Independence Way,Princeton,NJ 08540-6634 ? 满足不了学术搜索系统的建立。 要求： 1. 全 2. 准确 课题技术路线及研究方案 ? 爬取计算机相关网站，保证信息相关性最大，查全率、查准率最高。 照片 静态页面 动态页面 GoogleAPI Springer IEEE ScienceDirect 知网 爬取引擎 服务器 ? 建立学术搜索必须首先建立专家学者库以及论文库。 ? 姓名、单位、照片、邮箱、介绍等 专家库 论文 论文标题、子标题、作者、期刊号、页码、摘要等 论文库 论文全文 ? 分类 Google Springer 爬取的网站 IEEE
文档评论（0）