基于主动和被动模式的分布式代理缓存服务器的设计与实现-计算机系统结构专业论文.docxVIP

本人声明所呈交的学位论文是本人在导师指导下进行的研究工 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 答名．研心邵签名：!I：”r 日期：bC。年，月冲日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 (保密的学位论文在解密后应遵守此规定) 签名：雠 ‘14， ‘ 摘要摘要 摘要 摘要 网络应用的快速发展势必增加网络的负担(据统计，高于2／3的网络拥塞是由 Web所造成的)，如何既减轻网络负担又能带来更好的网络体验?这些都成为了网 络用户颇为关心的话题。传统的代理服务器一般功能相对单一，而且在对web页 面的缓存上往往力不从心。 本文结合最新的HTTP 1．1协议【l】和网络爬虫技术，提出一种基于主动和被动 模式的分布式代理缓存服务器的设计与实现。服务器充分利用Linux kernel 2．6的 新特性，如cpoll异步事件响应机制【2卅对网络I／o进行优化。同时为了降低原始内 存的零散申请和释放，并根据Solaris系统提出的Slab内核对象内存分配机制，实 现了基于常用对象的内存池结构，极大得减少了内存的申请和释放。为了减少网 络攻击对缓存文件的影响和实现负载均衡，系统采取一个前端重定向器加多个后 端缓存服务器的架构。在系统的负载低于某个阀值时，将启动主动模式。另外， 为满足各种定时需求，如连接超时，文件过期等，设计了定时器队列；由于需要 经常进行DNS域名解析，所以在本地保存了DNS缓存，定时刷新到磁盘，以避 免宕机或服务器重启导致DNS缓存尽失。最后，系统提供了各种日志。 本系统以SUSE 11 Server为开发平台。通过实际环境和模拟测试验证了服务 器功能和性能，从实际效果来看服务器能够持续稳定的给大量用户提供高效的服 务。 关键词：代理服务器， 缓存，反向代理， HTrP，非阻塞 4 .a How How to mitigate the network payload and get a better experience of internet?These questions have got more and more cDncerns by intemet USerS．However,traditional proxy is usually functional simple and large amount of web cache is f缸exceeded its ability． Based on the newest H1]即1．1 protocol and new web crawler technique，the design and implementation of a new distributed proxy cache server wim both active and passive mode will be introduced in this thesis．This server used a lot of new feature of Linux kernel 2．6，such as EPOLL asynchronous event driven policy,which optimizes the network I／O．Meanwhile，to reduce the separate malloc and free of raw memory,a memory pool based on objects，which is according to the kernel memory allocate policy Slab on Solaris，Was implemented。It Can sharply reduce the memory malloc and flee． Also，to decrease the influence of network attack to cache files and to make load balance，this system take an architecture with a front re