高负载网站架构递进优化策略.pptVIP

* * * * * (C) 2008 The9 Limited Inc. (C) 2008 (C) 2008 The9 Limited. (C) 2008 The9 Limited. (C) 2008 The9 Limited. (C) 2008 The9 Limited. (C) 2008 The9 Limited. (C) 2008 The9 Limited. (C) 2008 The9 Limited. (C) 2008 The9 Limited. (C) 2008 The9 Limited. (C) 2008 The9 Limited. (C) 2008 The9 Limited. (C) 2008 The9 Limited. (C) 2008 The9 Limited. 高负载网站的架构递进优化策略 张崇阳 2008-11-21 * 高负载站点的由来(一)物理分离webserver和数据库 最开始，由于某些想法，于是在互联网上搭建了一个网站，这个时候甚至有可能主机都是租借的，但我们只关注架构的演变历程，因此就假设这个时候 已 经是托管了一台主机，并且有一定的带宽了，这个时候由于网站具备了一定的特色，吸引了部分人访问，逐渐你发现系统的压力越来越高，响应速度越来越慢，而这 个时候比较明显的是数据库和应用互相影响，应用出问题了，数据库也很容易出现问题，而数据库出问题的时候，应用也容易出问题，于是进入了 第一步演变阶段： 将应用和数据库从物理上分离，变成了两台机器，这个时候技术上没有什么新的要求，但你发现确实起到效果了，系统又恢复到以前的响应速度了，并且支撑住了更 高的流量，并且不会因为数据库和应用形成互相的影响。看看这一步完成后系统的图示： ? Copyright ? 2008 The9 Limited. All Rights Reserved. * 高负载站点的由来(二)增加页面缓存/增加页面片段缓存 好景不长，随着访问的人越来越多，你发现响应速度又开始变慢了，查找原因，发现是访问数据库的操作太多，导致数据连接竞争激烈，所以响应变慢，但数据库连 接又不能开太多，否则数据库机器压力会很高，因此考虑采用缓存机制来减少数据库连接资源的竞争和对数据库读的压力，这个时候首先也许会选择采用squid 等类似的机制来将系统中相对静态的页面（例如一两天才会有更新的页面）进行缓存（当然，也可以采用将页面静态化的方案），这样程序上可以不做修改，就能够 很好的减少对webserver的压力以及减少数据库连接资源的竞争，OK，于是开始采用squid来做相对静态的页面的缓存。让现在那些动态页面里相对静态的部分也缓存起来呢，OK，于是开始采用部分缓存来做动态页面中相对静态的片段部分的缓存。看看这一步完成后系统的图示： ? Copyright ? 2008 The9 Limited. All Rights Reserved. * 高负载站点的由来(三)数据缓存 在提高了系统的缓存效果后，系统的压力确实进一步降低了，但同样，随着访问量的增加，系统还是开始变慢，经过查找，可能会发现系 统中存在一些重复获取数据信息的地方，像获取用户信息等，这个时候开始考虑是不是可以将这些数据信息也缓存起来呢，于是将这些数据缓存到本地内存(MC,apc, eAccelerator…)，改变完毕后，完全符合预期，系统的响应速度又恢复了，数据库的压力也再度降低了不少。看看这一步完成后系统的图示： 缓存技术，包括像Map数据结构、缓存算法、所选用的框架本身的实现机制等。 Copyright ? 2008 The9 Limited. All Rights Reserved. * 高负载站点的由来(四)增加webserver 随着系统访问量的再度增加，webserver机器的压力在高峰期会上升到比较高，这个时候开始考虑增加一台webserver，这也是为了同时解决可用性的问题，避免单台的webserver down机的话就没法使用了，在做了这些考虑后，决定增加一台webserver，增加一台webserver时，会碰到一些问题，典型的有：1、如何让访问分配到这两台机器上，这个时候通常会考虑的方案是Apache自带的负载均衡方案，或LVS这类的软件负载均衡方案；2、如何保持状态信息的同步，例如用户session等，这个时候会考虑的方案有写入数据库、写入存储、cookie或同步session信息等机制等；3、如何保持数据缓存信息的同步，例如之前缓存的用户数据等，这个时候通常会考虑的机制有缓存同步或分布式缓存；4、如何让上传文件这些类似的功能继续正常，这个时候