转大型网站架构必须要面对的问题.doc

转 大型网站架构必须要面对的问题 ? 大型网站架构必须要面对的问题2010年的大型网站，面对的问题已经不再是内容的集中广播式展示的问题了，而是越来越多的用户交互式应用及以因为这些应用产生的海量个性化数据。比如以用户为中心大型电子商务网站、SNS社会化网络、SocialGame以及其他新兴的Web2.0模式的大型网站及应用。所以这里只讨论高度交互性海量数据的大型网站，而不讨论新闻类和一些依靠HTML静态化就可以实现的Web1.0时代的网站架构。比如海内，开心网等类似的web2.0系列架构。我们这里也不讨论站点是PHP、J2EE、.NET还是ROR、Python等基础运行环境。不管采用什么语言或基础运行环境，架构都是我们所必须要面对的。1、海量数据的处理众所周知，对于一些相对小的站点来说，数据量并不是很大，select和update就可以解决我们面对的问题，本身负载量不是很大，最多再加几个索引就可以搞定。对于大型网站，每天的数据量可能就上百万，如果一个设计不好的多对多关系，在前期是没有任何问题的，但是随着用户的增长，数据量会是几何级的增长的。在这个时候我们对于一个表的select和update的时候(还不说多表联合查询)的成本的非常高的。2、数据并发的处理在一些时候，2.0的CTO都有个尚方宝剑，就是缓存。对于缓存，在高并发高处理的时候也是个大问题。在整个应用程序下，缓存是全局共享的，