淘宝关键技术架构发展总结.docVIP

从个人网站到淘宝网 仰观Java时代淘宝技术发展(1) 引言 光棍节狂欢 “时间到，开抢！”坐在电脑前早已等候多时小美一看时间已到11月11日零时，便迫不及待地投身于淘宝商城十二个月一度大型网购促销活动——“淘宝双11购物狂欢节”。小美打开早已收藏好宝贝——某品牌雪地靴，飞快点击购置，付款，一回头发觉3000双靴子已被抢购一空。 小美跳起来，大叫一声“欧耶！” 小美不知道，就在11日零点过后这一分钟内，全国有342万人和她一起涌入淘宝商城。当然，她更不知道，此时此刻，在淘宝杭州一间办公室里，灯火通明，这里是“战时指挥部”，淘宝技术部一群工程师，正在紧盯着网站流量和交易数据。白板上是她们刚刚下注，赌谁能最正确地猜中流量峰值和全天交易总额。她们手边放着充足食物和各类提神饮料。 一阵急促电话声响起来，是前线部门问询数据，工程师大声报着：“第1分钟，进入淘宝商城会员有342万”。过一会工程师主动拿起电话：“交易额超出1亿了，现在是第8分钟。”接下来，“第21分钟，刚突破2亿”。“第32分钟，3亿了”。“第1个小时，4.39亿”。这些数据随即出现在微博上，引发一片惊呼。 “完蛋了！”忽然有些人大喝一声，全部眼睛全部担心盯着她，只见她挠挠头，嘿嘿笑道“我赌少了，20亿轻松就能过了，我再加5亿”，她跑去白板边上把自己赌注擦去，写上25，接下来有些人写上28，有些人写上30，有些人跑到微博上开下盘口，同事们纷纷转载下注。接下来这24个小时，战时指挥部工程师们全部不能休息，她们盯着网站多种监控指标，适时调整机器和增减功效。顶住第一波高峰以后，这些人开始忙里偷闲给自己买东西，大家相互交流着哪家买移动硬盘靠谱，哪家衣服适合自己女好友，不时有些人哀嚎宝贝被人抢了、信用卡额度不够了。同时，旁边白板上赌注越下越大。 11月11日，这个棍子最多日子被网民自我调侃变成了一个节日——“光棍节”。而淘宝网又用疯狂折扣促销给它给予了另外一个意义——“购物狂欢节”。11月11日这一天，淘宝商城和淘宝网交易额之和突破52亿，这个数字是“购物天堂”香港一天零售总额8.5亿6倍。 网民感受到是疯抢喜悦，而网站技术人员感受到却是“压力山大”。就如同你家办酒席，宴请左邻右舍，这个办起来轻易。倘若宴请十里八乡全部人，吃饭人自然快乐，但却不是通常人家能够办得起来。能办得起来如此盛宴者，需要强大财力物力、组织能力、技术实力（比如做这么多菜，你炒锅一定要是“分布式”、“可复制”、“可扩展”，洗菜切菜要有“工作流引擎”，上菜路径要用图论来计算出来，甚至连厨房下水道全部要重新设计）。 淘宝能够举行如此盛宴，网站技术实力可见一斑。淘宝网拥有全国最大hadoop分布式计算集群之一，日新增数据50TB，有40PB海量数据存放。分布在全国各地80多个节点CDN网络，支持流量超出800Gbps。淘宝搜索引擎能够对数十亿商品数据进行实时搜索，另外还拥有自主研发文件存放系统和缓存系统，和java中间件和消息中间件系统，这一切组成了一个庞大电子商务操作系统。另外从商业数据上来看，AMAZON财报显示完成了大约 480亿美金交易额，EBAY财报整年完成了大约600亿美金交易额（不包含其独立汽车交易平台）。不管从交易额、商品数量、同比增速等指标上看，淘宝网均远超于此，是现在全球最大电子商务平台。（因为淘宝非上市企业，未公布业绩，以上内容来自淘宝网技术副总裁@_行癫 微博） 以上这些技术数据可能已经让部分同学产生不适感觉，为了让更多人读懂这本书，我们从技术角度来看，小美访问淘宝网时候，网站上发生了什么事情。下参考资料：《你刚才在淘宝上买了一件东西【技术普及帖】》，来自南京邮电大学孙放同学 为了有个更直观对比，我们说一个同行，她在光棍节之前做促销，流量上去以后，达成12Gbps（她们有这么大流量，老板很快乐，在微博上面说了这个数据），这时候流量达成了极限，网站几乎挂掉，用户无法下订单。而淘宝网光棍节当日网络流量最高达成800多Gbps，带给各家银行和快递企业流量也让她们压力山大，如临大敌（以后，她们以能够撑住淘宝带来流量为荣而四处宣传）。另外假如你在网上购置过火车票话，更能体会到网站能支持多大流量有多关键。但这不是一朝一夕做出来，也不是有钱就能办到。 以上对比这些网站，可能读者很轻易就猜到是哪一家，这里拿出来作对比，绝对没有嘲笑人家意思，采取通常网站技术方案，能做到这种程度已经不错了。任何网站发展全部不是一蹴而就，在什么样阶段采取什么样技术。在发展过程中网站会碰到多种多样问题和业务带来压力，正是这些原因才推进着技术进步和发展，而技术发展又会反过来促进业务更大提升。二者互为因果，相互促进。现在淘宝网流量已经是全球排名第12、中国排名第3（美国ebay全球排名23，中国前两名是baidu和腾讯）。淘宝网系统也从使用