互联网上FTP文件的分布特征及启示.pdfVIP

互联网上 FTP 文件的分布特征及启示 陈华 王继民 韩近强 谢欣 （北京大学计算机系网络实验室北京 100871 ） E-mail:chenhua@ 摘 要 北京大学网络实验室的 “天网”文件搜索引擎是国内自主开发的一个海量(FTP 和 HTTP)文 件搜索引擎系统，它的数据库维护着 1 千多万的 FTP 文件与目录信息，索引了国内大部分匿名 FTP 站点。 本文对“天网”的海量FTP 文件目录信息的分布特征进行了研究，并分析了其对文件搜索引擎设计以及 FTP 服务器分类管理等方面的某些重要启示。本文的研究成果将增强人们对互联网上文件分布特征的了解，对 于设计和优化一个大规模的文件搜索引擎系统具有积极的指导作用。 关键词 FTP 文件与服务器 分布特征 搜索引擎 文件系统 数据挖掘 中图分类号 TP393 FTP files’ Distribution Characteristics and their Implications Chen Hua Wang Jimin Han Jinqiang Xie Xin (Dept of Computer ScienceTechnology, Peking Univsity, Beijing 100871) Abstract: Tianwang File Search is a massive high-quality Chinese and English search engine which has crawled and indexed millions ftp files. In this paper, we study the distribution characteristics of ftp files and analyze some important implications to file search engines. The research results in this paper are very helpful to the design and evaluation of a massive FTP search engine, and they are useful for manage or classify ftp sites too. Keywords: FTP FilesServers, Search Engine, Distribution Characteristic, file system, data mining 1 引言 在因特网上存在着、流动着各种各样的信息，例如email信息、BBS信息、被HTTP服 务器管理的HTML网页，还有被FTP（File Transfer Protocol）服务器管理的各种类型的文 件。后者是本文关心的对象，它们的典型代表是各种学术和技术文件、计算机软件、多媒体 数据等等。多数FTP服务器都开辟有一个公共访问区，称为“匿名FTP”，对公众提供免费的 文件信息服务。FTP搜索引擎的功能是搜集匿名FTP服务器提供的目录列表，对用户提供文件 信息的查询服务。由于FTP搜索引擎是专门针对各种文件的，因而相对WWW搜索引擎，寻找软 件、图像、电影和音乐等文件使用FTP搜索引擎将更加方便直接。 目前国际上FTP文件数量已有数亿，国内提供匿名FTP服务的站点也很多。“天网” 文件搜索引擎作为中国最大的FTP搜索引擎之一，收集了国内6000多个可以匿名登陆的FTP 站点并提供在线的1000多万FTP文件的检索服务，并且每日更新，每天有60多万用户使用天 网文件搜索进行检索。 我们使用“天网”收集的海量 FTP 文件和目录，对互联网上 FTP 文件的分布特征进 行研究，分析了某些规律性的东西，并将这些结论应用于文件搜索引擎的设计并为 FTP 服 务器的分类管理提供参考。由于国内 FTP 站点很多是个人站点，其组织上有很大的自然性， 这种自然性从总体来看正好接近人们在个人机器上的文件组织，因而研究 FTP 上的文件分 布特征将具有一定的普遍性意义，也可以了解人们在普通文件系