新浪虚拟视频4 2高并发高流量网站架构的设计 参考.docVIP

新浪虚拟视频4 2高并发高流量网站架构设计 参考 2011-06-16 新浪虚拟视频4.2高并发高流量网站架构设计(参考)新浪虚拟视频4.2高并发高流量网站架构设计(参考) 目录 1引言9 1.1互联网的发展9 1.2互联网网站建设的新趋势9 1.3新浪播客的简介11 2网络层架构12 2.1镜像网站技术12 2.2CDN内容分发网络13 2.3应用层分布式设计16 2.4网络层架构小结17 3交换层架构17 3.1第四层交换简介17 3.2硬件实现18 3.3软件实现18 4服务器优化19 4.1服务器整体性能考虑19 4.2Socket优化19 4.3硬盘级缓存22 4.4内存级缓存24 4.5CPU与IO均衡26 4.6读写分离26 5应用程序层优化28 5.1网站服务器程序的选择28 5.2数据库选择29 5.3服务器端脚本解析器的选择30 5.4可配置性32 5.5封装和中间层思想33 6扩容、容错处理33 6.1扩容33 6.2容错34 7总结及展望35 7.1总结35 7.2展望36 高并发高流量网站架构 逆雪寒(2007-12-1711：55：26) 1引言 1.1互联网的发展 最近十年间，互联网已经从一个单纯的用于科研的，用来传递静态文档的美国内部网络，发展成了一个应用于各行各业的，传送着海量多媒体及动态信息的全球网络。从规模上看，互联网在数、带宽、上网人数等方面几乎一直保持着指数增长的趋势，2006年7月，互联网上共有439，286，364台，WWW站点数量达到96，854，877个[1]。全球上网人口在2004年达到7亿2900万[2]，中国的上网人数在2006年12月达到了约1亿3700万[3]。另一方面，互联网所传递的内容也发生了巨大的变化，早期互联网以静态、文本的公共信息为主要内容，而目前的互联网则传递着大量的动态、多媒体及人性化的信息，人们不仅可以通过互联网阅读到动态生成的信息，而且可以通过它使用电子商务、即时通信、网上游戏等交互性很强的服务。因此，可以说互联网已经不再仅仅是一个信息共享网络，而已经成为了一个无所不在的交互式服务的平台。 1.2互联网网站建设的新趋势 互联网不断扩大的规模，日益增长的用户群，以及web2.0[4]的兴起，对互联网网站建设提出了新的要求： 高性能和高可扩展性。2000年5月，访问量排名世界第一(统计数据来源[5])的Yahoo[6]声称其日页浏览数达到6亿2500万，即每秒约30，000次HTTP请求(按每个页面浏览平均产生4次请求计算)。这样大规模的访问量对服务的性能提出了非常高的要求。更为重要的是，互联网受众的广泛性，使得成功的互联网服务的访问量增长潜力和速度非常大，因此服务系统必须具有非常好的可扩展性，以应付将来可能的服务增长。 支持高度并发的访问。高度并发的访问对服务的存储与并发能力提出了很高的要求，当前主流的超标量和超流水线处理器能处理的并发请求数是有限的，因为随着并发数的上升，进程调度的开销会很快上升。互联网广域网的本质决定了其访问的延迟时间较长，因此一个请求完成时间也较长，按从请求产生到页面下载完成3秒计算，Yahoo在2000年5月时平均有90，000个并发请求。而且对于较复杂的服务，服务器往往要维护用户会话的信息，例如一个互联网网站如果每天有100万次用户会话，每次20分钟的话，那平均同时就会有约14000个并发会话。 高可用性。互联网服务的全球性决定了其每天24小时都会有用户访问，因此任何服务的停止都会对用户造成影响。而对于电子商务等应用，暂时的服务中止则意味着客户的永久失去及大量的经济损失，例如[7]1999年6月的一次22小时的网站不可访问，对此网站的380万用户的忠诚度造成巨大影响，使得Ebay公司不得不支付了近500万美元用于补偿客户的损失，而该公司的市值同期下降了40亿美元[8]。因此，关键互联网应用的可用性要求非常高。 1.3新浪播客的简介 以YouTube[9]为代表的微视频分享网站近来方兴未艾，仅2006年一年，国内就出现近百家仿YouTube的微视频分享网站[10]，试图复制YouTube的成功模式。此类网站可以说是Web2.0概念下的代表网站，具有Web2.0网站所有典型特征：高并发，高流量，数据量大，逻辑复杂，用户分散等等。新浪[11]作为国内最大的门户网站，在2005年成功运作新浪博客的基础上，于2006年底推出了新浪播客服务。新浪播客作为国内门户网站中第一个微视频分享服务的网站，依靠新浪网站及新浪博客的巨大人气资源，在推出后不到半年的时间内，取得了巨大的成功：同类网站中上传视频数量第一、流量增长最快、用户数最多[12]，所有这些成绩的取得的背后，是巨大的硬件投入，良好的架构支撑和灵活的应用层软件设计。 本文是作者在新浪爱问