.Net分词搜索程序说明书.docxVIP

ShootSearch（开发代号：SpiderMan）说明书文件状态：[√] 草稿[ ] 正式发布[ ] 正在修改文件标识：ShootSunStudio-SpiderMan前版本：0.1作 者：Yin Jun完成日期：未完成Shoot Sun Studio 射日工作室support@版 本 历 史版本/状态作者参与者起止日期备注0.1尹君无2007/8/15 2006/8/17 目 录 0. 文档介绍40.1 文档目的40.2 文档范围40.3 读者对象40.4 参考文档51. 产品介绍62. 产品面向的用户群体63. 产品应当遵循的标准或规范64. ShootSearch命名空间65. ShootSearch的使用75.1 站内搜索75.2 远程采集90. 文档介绍本文档主要介绍有关ShootSearch（开发代号：SpiderMan）的各组件类库和如何使用ShootSearch来进行数据的采集和搜索。0.1 文档目的因为ShootSearch（开发代号：SpiderMan）并没有一个比较系统的介绍，所以为了方便大家使用也为了规范以后的开发，特编写此文档。因为0.2版在架构上出了点问题，所以0.2版不再做更多的更新了，我现在的工作主要放在0.3版的设计上了。目前已经确定的改进如下：已处理队列不再使用.Net自带的Hashtable，而改用Bloom Filter；未处理队列将变成两个:A和B，A保持一定数量的Url，当A超出时向B内增加，当B满后写入磁盘…这样就可以保证处理更多的Url；Spider下载/Mirror处理两个模块将更好的配合，以便同时处理多个网站，这些网站可以使用相同规则，也可以对应不同的处理规则；改进索引线程的控制，使其更加灵活处理规则的改进，内存中不再创建DataTable，而是直接采用XmlDocument对象，这样就能更加灵活的进行处理；传递对象—IndexItem的属性将不限于Url，Title，Body等，可以使用自定义的属性；0.2 文档范围目前ShootSearch版本为0.2版，并没有使用Ndoc之类的工具来生成完整的类库说明之类的说明性文档，同时因为ShootSearch正在开发中，所以并不推荐最终用户的使用，因此在说明时可能会使用一些比较专业的词汇，但文档就此一份，不太好区分什么开发用户，最终用户之类的，有些地方的说明可能会比较的详细以致让部分用户觉得有些烦琐。0.3 读者对象.Net下面的搜索爱好者，程序开发人员，系统设计人员，最终用户…0.4 参考文档1. 产品介绍ShootSearch的研发代号为：SpiderMan。你可以理解为蜘蛛侠，而我更愿意认为是管理蜘蛛的人:-)。因为ShootSearch的最初开发目的是希望能够对HTTP，FTP，本地磁盘和网络邻居磁盘四种资源进行检索。每种资源对应一种蜘蛛程序，而管理这些个蜘蛛的就可以成为管理蜘蛛的人了。用户可以设定要检索的网址，FTP服务器或是本地/网络磁盘路径，然后由ShootSearch来为这些资源做索引，方便搜索。2. 产品面向的用户群体目前ShootSearch还正在开发中，因此用户主要是一些开源软件的爱好者，有初级搜索需求的用户。3. 产品应当遵循的标准或规范ShootSearch是基于Lucene.Net（以前叫DotLucene）的开源搜索引擎，采用C#编码，源码开放，遵守GPL协议。有关协议的英文版请参考：/copyleft/gpl.html/copyleft/gpl.html中文版详细情况请参考：/about/gpl//about/gpl/4. ShootSearch命名空间ShootSearch命名空间如下所示：目录/程序名类型用途说明ShootSearch.Spider类库蜘蛛程序ShootSearch.Mirror类库镜像处理程序ShootSearch.Indexer类库索引制作程序ShootSearch.Logger类库日志记录程序ShootSearch.IFilter类库文件解析器HTML,Word,Excel…微软官方提供ShootSearch.Plugin类库插件接口ShootSearch.Plugin.RTF类库RTF文件解析插件ShootSearch.Segment类库中文分词程序ShootSearch.Common类库公共函数库ShootSearch.Searcher类库公共搜索程序ShootSearch.Searcher.WebWeb应用程序Web搜索程序ShootSearch.Searcher.WindowsWindows应用程序Windows搜索程序ShootSearch.Spider.ConsoleWindows应用程序蜘蛛程序控制台ShootSearch.M