Maze一个P2P文件共享系统设计与实现.doc

1 绪论 3 1.1 Maze项目产生的背景 3 1.2 陈霖硕士的相关想法 4 1.3 谢欣硕士做出的新颖设计 4 2 相关工作 5 2.1 节点发现与通讯策略的相关研究 5 2.2 文件传输策略的相关研究 6 3 Maze的系统结构设计 6 4 节点发现与通讯策略 8 4.1 分布式认证机制 8 4.2 节点登记与节点发现 9 4.3 节点间通讯策略 9 5 节点发现与通讯策略的改进 11 5.1 社会性的Maze 11 5.2 脱离中心服务器正常运行 12 6 文件共享与传输策略 13 6.1 Maze URL定义与解析 13 6.2 目录浏览与索引 13 6.3 下载队列和排队队列 14 6.4 Maze积分机制和排队算法 14 6.5 文件传输协议 15 7 文件共享与传输策略的改进 15 7.1 资源的索引与检索 15 7.2 多点同时下载 16 7.3 多点下载的文件分块算法 16 7.4 获得镜像下载地址 17 7.5 Maze种子机制：动态的镜像下载地址 17 7.6 文件内容摘要的提取 18 7.7 使用社交网络改进文件共享与下载 18 8 系统的可持续发展策略 19 8.1 可扩充的协议 19 8.2 监控与管理非法资源或不健康资源的共享 19 8.3 丰富资源的策略 20 9 Maze的程序结构与数据结构 21 9.1 各中心服务器及其主要功能 21 9.1.1 用户管理服务器 21 9.1.2 心跳服务器 22 9.1.3 目录收集服务器 22 9.1.4 种子服务器 23 9.1.5 检索服务器 23 9.2 Maze前台界面程序结构 24 9.2.1 文件下载功能模块 24 9.2.2 节点发现与通讯模块 25 9.2.3 本地管理模块 25 9.2.4 界面模块 25 9.3 Maze后台服务程序结构 26 10 Maze的XML格式通讯协议 27 10.1 用户管理服务器与Peer的通讯协议 27 10.1.1 注册新帐户: 27 10.1.2 申请信用卡 27 10.1.3 更新积点 28 10.1.4 更改密码 28 10.1.5 更改呢称 29 10.2 心跳服务器与Peer的通讯协议 29 10.2.1 登录 29 10.2.2 心跳 30 10.2.3 发送消息 30 10.2.4 随机查找 31 10.2.5 Maze邻居 31 10.2.6 请求资料 32 10.2.7 登记关注名单与定时接收状态 32 10.2.8 惩罚 33 10.2.9 取消惩罚 34 10.3 Peer之间的UDP通讯协议 34 10.3.1 发送消息 34 10.3.2 浏览和下载目录 34 10.3.3 请求详细资料 35 10.3.4 获取外部端口 36 10.3.5 你是谁？ 36 10.4 Peer之间的TCP文件传输协议 37 10.4.1 数据包包头格式 37 10.4.2 请求者发送的命令与格式 37 10.4.3 服务者答复的命令与格式 38 10.4.4 一个正常的文件传输逻辑 39 10.11 种子服务器与Peer间的通讯协议 39 10.11.1 上传种子 39 10.11.2 增加镜像链接 40 10.11.3 删除镜像链接 40 10.11.4 获得所有在线镜像 41 10.12 目录收集服务器与Peer的通讯协议 41 10.12.1 上传文件目录 41 10.12.2 更新目录状态 42 10.13 Maze搜索的XML 检索协议 42 10.13.1 天网搜索的CGI与参数 42 10.13.2 天网搜索的XML结果格式 43 10.14 Maze的配置 44 11 比较和总结 45 绪论 Maze项目产生的背景 根据天网搜索的信息统计，原来基于FTP的网络文件系统已经日益呈现出资源“相对”困乏的局面。FTP站点的总数量已经开始呈现下降趋势，并且绝大部分的FTP站点已经不能匿名访问。下图是我们在2002年10月于天网主页上进行问卷调查的结果统计，可以很明显地看出“下载难”乃是天网文件搜索引擎急待解决的核心问题。 图 1 天网文件搜索最迫切需要解决的问题 面临如此困境，理所当然，我们应当先分析一下传统FTP服务究竟存在哪些弊端，在当今这个日新月异的信息时代，随着宽带网的普及，上网用户想从网络上获得的不仅是文字、图片、软件等信息，更希望通过各个FTP站点共享和下载更多的用于娱乐和工作学习的多媒体文件，例如DVD视频和mp3音乐。然而多媒体文件相对其他文件来说一般很大，一个普通的DVD文件就要600多M，这必然导致网络流量的大幅度上升，越来越多的上网用户往往在相同的时间段集中访问某些著名的FTP站点，这样传统的FTP协议在处理多用户同时下载大文件的时候就不可避免的表现出了