淘宝技术架构介绍, 了解淘宝,了解淘宝的架构需求.ppt

淘宝技术架构介绍 2009.6 目标    了解淘宝，了解淘宝的架构需求 了解淘宝的技术演变 了解一些约束 淘宝是什么？ 淘宝是一个网站 WebServer AppServer DBServer 淘宝是什么网站？  淘宝是一个交易网站  交易  要素  人 物 合同（订单）  过程  匘配过程  交易过程  付款  发货  沟通交流  功能需求  交易系统  非功能需求  高稳定性 淘宝是什么样的交易网站？  淘宝是一个很大的交易网站  每天  7亿次的页面访问，其中搜索宝贝过亿次，浏览宝贝过亿次  超过40亿次的用户访问，超过6亿次的交易访问，超过6亿次的宝贝访问  超过400万笔有效交易  高峰期  每秒超过25G的流量，核心业务每秒超过4.5G的流量  每秒生成几百笔交易，8万次的用户访问，1.5万次的商品访问  淘宝总共  超过22TB的宝贝图片存储  超过4亿条的在线交易记录，超过2亿的在线宝贝  非功能需求  高容量  高性能 淘宝是什么样的很大的交易网站？  淘宝是一个高速发展的很大的交易网站  2008Q3  发布项目15个  发布日常285个  发布模板440次  2008Q4  发布项目49个  发布日常1149个  发布模板1909次  非功能需求  高可维护性 对淘宝技术架构的原始需求 高稳定性 高容量 高性能 高可维护性 淘宝发展历程 2000片/天 9000片/天 3.8W片/天 2W片/天 8W片/天 0 1000 500 2500 2000 1500 2003 2004 2005 2006 2007 2008 2009 PV 全网成交 V2.2 V1.1 V1.0 V2.0 V2.1 V3.0 2008年： 交易额999.6亿 注册用户9800万 卖出1.4亿件服饰 卖出1366万部手机 卖出3130万张充值卡 2008年每天： 增加800G的数据 高峰期流量超过30G/S 处理超过1000G的日志 处理40亿次的用户信息访问 缓存处理60亿次的请求 V1.0 2003.5 – 2004.1     2003年非典时期 马于住宅 LAMP MySQL读写分离 Slave1 Read Slave2 Read 复制 Read/Write 复制 MySQL Master V1.0 Function Function 2 Apache mod_php4 Apache pear DB mod_php4 pear DB V1.1 过渡版本 V1.0问题 数据库容量限制 数据稳定性 V1.1需求 解决数据库性能问题 为V2做好准备 V1.1 2004.1 – 2004.5 MySQL迁移至Oracle 引入SQL Relay中间件 迁移阶段开发人员写两种SQL Function 3 Apache mod_php4 pear DB SQL Relay V1.1 Function 4 Function 2 Apache Function 1 Apache mod_php4 Apache mod_php4 pear DB mod_php4 pear DB SQL Relay pear DB SQL Relay Oracle SQL Relay V1 问题 开发效率 无技术积累 丌能满足团队开发 丌能满足长期持续维护 性能 连接池 容量制约 V2 需求 支撑高速业务发展 支撑团队幵行开发 支撑系统的可伸缩 V2.0 2004.2-2005.03 php迁移至java 三层结构 WebX Service Framework AntX ISearch V2.0 Oracle dump Node 1 Node 2 Node n …… Ibatis Search Function 4 Function 3 Weblogic Function 2 Weblogic Function 1 WebX Weblogic WebX