海量的基于Web的FTP搜索引擎系统的设计与实现-PKU-北京大学.doc

海量的基于Web的FTP搜索引擎系统的设计与实现The Design Realization of a Powerful FTP Search Engine System --- 陈华 2001.6.10 摘要 在因特网上对众多FTP站点进行快速的文件条目查找，是网络信息搜索的重要组成部分。本文以“天网”FTP搜索引擎为例，介绍了千万级基于WEB的强大的FTP搜索引擎的设计与实现，并重点分析了系统所采用的关键技术和方法。 关键词 FTP, 搜索引擎，WWW Abstract FTP Search Engine is a powerful tool to search useful files for users from various resourceful FTP sites. In this paper, mainly described are the design and implementation of our FTP search engine, as well as the key technologies and methods we adopt. Keyword FTP, Search Engine, World Wide Web 目 录 引言………………………………………………………………………………...4 搜索引擎的历史与发展………………………………………………………………4 搜索引擎的起源…………………………………………………………………4 真正意义的搜索引擎…………………………………………………………….4 Ftp的搜索引擎………………………………………………………………….5 I、基于文本的ftp搜索引擎：Archie。…………………………………………..5 II、基于Web的Ftp搜索引擎。…………………………………………………5 天网ftp搜索引擎的现状…………………………………………………………….5 天网Ftp搜索产生的起源与发展历史。………………………………………….5 天网ftp搜索引擎的现状………………………………………………………6 提供的功能…………………………………………………………………6 文件类型的分类………………………………………………………..6 时间过滤………………………………………………………………6 大小过滤………………………………………………………………6 精确匹配………………………………………………………………6 站点限制………………………………………………………………6 结果中查询功能……………………………………………………….6 支持常用的*，?，与，并 操作………………………………………...7 多语言版本……………………………………………………………7 快捷方式系统………………………………………………………….7 数据量……………………………………………………………………..7 站点数量在3000以上…………………………………………………7 2. 文件条目1300万左右…………………………………………………7 快捷方式约一千条……………………………………………………..7 访问量……………………………………………………………………..7 日页面下载量在3万左右……………………………………………...7 日访问人数在1.5万以上………………………………………………8 海量ftp搜索引擎的系统结构设计…………………………………………………….9 系统的结构设计：四大模块和五个数据库………………………………………9 数据库功能和结构说明…………………………………………………………10 文件类型库………………………………………………………………...10 站点列表库…………………………………………………………………11 素材数据库…………………………………………………………………11 索引数据库…………………………………………………………………12 快捷方式数据库……………………………………………………………13 搜集建库模块…………………………………………………………………...14 搜集建库过程说明………………………………………………………….14 站点获得策略………………………………………………………………14 并发搜集策略………………………………………………………………15 分布搜集策略………………………………………………………………15 多次尝试和断点续搜………………………………………………………..15 线性的建库过程…………………………………………………………….15 数据库的切换………………………………