搜索引擎原理与实践_源程序.docVIP

下载本文档

38
0
约1.86万字
约 17页
2017-08-25 发布于云南
举报
版权申诉

搜索引擎原理与实践_源程序.doc

1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

9.6 源程序 9.6.1 FrontierSchedulerForBjfu类 package org.archive.crawler.postprocessor; import org.archive.crawler.datamodel.CandidateURI; public class FrontierSchedulerForBjfu extends FrontierScheduler { public FrontierSchedulerForBjfu(String name){ super(name); } protected void schedule(CandidateURI caUri) { String uri = caUri.toString(); if(uri.indexOf(dns:) != -1){ getController().getFrontier().schedule(caUri); } else if(uri.indexOf(bjfu) != -1 (uri.indexOf(.html) != -1 || uri.indexOf(.htm) != -1 || uri.indexOf(.jsp) != -1 || uri.indexOf(.asp) != -1 || uri.indexOf(.aspx) != -1)){ System.out.println(uri); getController().getFrontier().schedule(caUri); } } } 9.6.2 Page类 package .bjfu.search.page; public class Page { private String url; private String title; private String summary; private String context; private int score; public Page(){ url = null; title = null; summary = null; context = null; score = 10; } public String getUrl(){ return this.url; } public void setUrl(String url){ this.url = url; } public String getTitle(){ return this.title; } public void setTitle(String title){ this.title = title; } public String getSummary(){ return this.summary; } public void setSummary(String summary){ this.summary = summary; } public String getContext(){ return this.context; } public void SetContext(String context){ this.context = context; } public int getScore(){ return this.score; } public void setScore(int score){ this.score = score; } } 9.6.3 Extractor类 package .bjfu.search.extractor; import org.htmlparser.*; import org.htmlparser.util.*; import org.htmlparser.visitors.*; import org.htmlparser.nodes.*; import org.htmlparser.tags.*; import .bjfu.search.page.*; import .bjfu.search.util.*; public class Extractor implements Runnable{ private String filename; private Parser parser; private Page page; private String encode; public void se