网络信息检索与搜素引擎系统开发.docVIP

《网络信息检索与搜素引擎系统开发》考试参考资料 Brilliance 搜索引擎：从互联网等信息源中以一定的策略采集所需信息，经加工处理(如对网页进行去重处理、抽取信息、索引、生成主题词标引、生成自动文摘、信息分类、对相似网页进行聚类等，将用户感兴趣的内容按照一定的规则排序后，以超链等形式提供给用户的系统。 搜索引擎主要包括信息采集、信息加工、信息检索与检索结果提供这几个部分 搜索引擎分类：目录索引式搜索引擎、自动式搜索引擎、元搜索引擎、分布式搜索引擎 自动搜索引擎： 利用Robot采集相关网页。在进信息加工后(如：分析页面内容。生成索引。 摘要。分类，根据用户给出的查询项进行检索，并将检索结果按相关性排 序(可根据匹配程度、查询项出现的位置/频次、网页链接质量等后返回 给用户。 ?优点：自动采集，信息量大，更新较及时。 ?缺点：检索时缺乏在语义层次上的深层分析。 ?查准率查准率(precision用来评价检索结果中有多少文档是和用户需求相关的。 查准率=检索结果中和查询相关的文档数÷检索结果中的文档总数×100% ?查全率查全率：文档库中所有相关文档中到底有多少被系统检索出来 查全率=检索结果中和查询相关的文档数÷文档库中所有和查询相关的文档数×100% 网络信息检索的未来： 1.以智能化为核心的智能检索 2.多媒体信息检索 3.跨语言检索 4.个性化检索 案例检索 输入待解决问题的要求、初始条件及其他相关信息 根据问题要求及初始条件，从案例库中提取一组与当前问题相似的案例 从相似的案例中找出最接近当前问题的案例，通过对目标方案的修改来解决当前问题。 问题解决后，当前的解即可新的案例存入案例库中，以备后用 页面遍历算法 广度优先：先采集完同一层的网页，在采集下一层的网页。 深度优先：先沿一条路径采到叶节点，再从同层其他路径进行采集 网页信息抽取的大致流程 1、通过网络蜘蛛爬取页面，预处理后得到纯文本页面信息； 2、对页面进行预处理，去掉JavaScript、图片、Flash等无关内容； 3、找到对应的头部和尾部标志，并在其中抽取相应的内容； 4、将抽取到的属性信息存入数据表。 对Lucene Demo的考试 1、控制台方式 1）建立索引。在控制台cmd方式下输入：“java org.apache.lucene.demo.IndexFiles“d:\workshop\docs””(设待索引文件在d:\workshop\docs下，则对目标文件夹(即d:\workshop\docs下所有文件建立索引，同时在当前命令行所在位置将生成index文件夹。 2）javaorg.apache.lucene.demo.SearchFiles，则在当前路径下找index文件夹并进行检索，要在存放索引文件的父目录中执行上述语句。这时将会出现“Enter Query:”提示符，在其后输入关键字后回车，即可得到查询结果，不支持中文检索。 2、Web方式 cmd模式下利用Lucene自带的Demo对指定位置的html文件建立索引并存放在指定的位置。 1）将D:\lucene-2.4.0\lucene-2.4.0\luceneweb.war复制到Tomcat安装路径的\webapps，输入，会打开lucene的自带的Demo程序。 2）在新建的这个luceneweb文件夹下新建一docs文件夹，将一些txt、html等类型的文件复制到这个docs中。 3）对指定路径下的文件建立索引。cmd下输： java org.apache.lucene.demo.IndexHTML–create –index “D:\eclipse\java\Tomcat 5.5\webapps\luceneweb\index” “D:\eclipse\java\Tomcat 5.5\webapps\luceneweb\docs” –第一个参数是存放索引的目的地，第二个参数是存放待索引的文件的源位置 4）为使Lucene的demo能找到索引文件，需修改Tomcat安装路径下的webapps\Luceneweb\configration.jsp，使之能指向正确的索引位置。修改“String indexLocation”使之指向正确的Index文件夹，String indexLocation= “..\\webapps\\luceneweb\\index”。 5）在Tomcat运行状态下，在浏览器中输入。在文本框中输入关键字，如“＋Lucene ＋windows”，按照指定的与关系来进行检索。 Lucene索引和检索的主要流程 步骤1：构建索引，实例化IndexWriter。 在IndexWriter的构造函数中，第一个参数是有关索引位置的，如果采用FSDirecto