支付宝高可用系统架构演示文稿.pptx

支付宝高可用系统架构个人介绍胡喜，花名阿玺，2007年加入支付宝，主持支付平台基础技术的架构设计与研发工作，并且参与支付宝核心支付平台的架构设计和系统升级。2010年开始负责整个全站稳定性工作，推进全站高可用架构的落地。支付宝系统发展历程服务范围: 担保交易@淘宝交易笔数: 1万/天代码量: 十万级技术团队: 约 10人服务范围: 交易@互联网交易笔数: 50万/天代码量: 百万级技术团队: 约 100 人服务范围: 多资金渠道、多支付工具、多应用场景交易笔数: 约1000万/天11.11日：1280W代码量: 千万级技术人员: 1000人+服务范围: 支付宝@everywhere业务量: 亿级+11.11:3369W代码量: 千万级+技术人员: 异地/开放挑战2005年2006年2007年2008年2009年2010年2011年+一代架构: 烟囱型二代架构: 面向服务型架构三代架构: 云平台型基于互联网与云计算技术的支付架构解决方案新型终端互联网移动互联网…网购航旅水电煤还款充值加油理财酒店送礼…随时随地可用的支付服务安全、易用的开放支付应用开发平台业务平台 (SAAS)数据平台 (DAAS)1. 海量数据处理与计算能力2. “适时”的数据处理与流转能力技术平台 (PAAS)1. 可伸缩、高可用的分布式事务处理与服务计算能力2. 弹性资源分配与访问管控运维平台 (IAAS)1. 基础资源伸缩性2. 组件扩展性3. 系统平台稳定性现有平台处理能力2012年全年系统可用率99.992%目前系统具备处理每天1.5亿+支付处理能力交易处理能力：1.5万/秒支付处理能力：8000/秒(支付宝账户)、2400/秒(银行)2013年计划建设3亿+笔/天、3万笔+/秒支付处理能天：核心数据库集群：完成41亿数据库事务，执行285亿次的SqL，生成15TB日志，访问1931亿次内存数据块应用系统集群：完成1000亿+服务调用，由600+个应用协同完成Agenda可伸缩性：提升容量百万级到亿级故障容忍：99.9%到99.99%+弹性控制：人工控制到秒级自动调度一个简化的支付宝系统模型IDC交易系统LB账户系统数据库V 1提升容量百万级到亿级可伸缩数据库的瓶颈IDC交易系统LB账户系统数据库V 1一致性瓶颈IDC交易系统LB账户系统交易数据库账户数据库V 2业务一致性：service层的分布事务1. tryX成功从业务服务A实现一个完整的业务活动由一个主业务服务与若干从业务服务组成主业务服务负责发起并完成整个业务活动从业务服务提供TCC型业务操作业务活动管理器控制业务活动的一致性，它登记业务活动中的操作，并在业务活动提交 时确认所有的TCC型操作的confirm操作，在业务活动取消时调用所有TCC型操作的cancel操作与2PC协议比较没有单独的Prepare阶段，降低协议成本系统故障容忍度高，恢复简单tryXconfirmXcancelX主业务服务数据库数据库2. tryY成功启动业务活动登记业务操作提交/回滚业务活动3. confirmX成功业务活动管理器从业务服务BtryY活动日志confirmY4. confirmY成功cancelY数据库单个库的瓶颈IDC交易系统LB账户系统交易数据库账户数据库V 2数据可伸缩性：数据水平拆分与复制IDC交易系统LB账户系统交易数据库账户数据库交易数据库账户数据库交易数据库V 3数据可伸缩性：交易数据拆分用户交易记录查询服务(读场景1)交易处理服务(写场景)商户查询与对账(读场景2)主交易系统交易记录查询系统商户查询系统分布数据访问层交易记录数据(分表并分库)商户/平台商交易数据(分表并分库)核心交易数据(分表并分库)111主222n1n2n3数据复制中心数据可伸缩性：会员数据拆分App Server定向写随机读DB 虚拟路由服务Read DB 3Write DBRead DB 1Read DB 2Read DB 4读写分离数据服务无单点实时无缝读高可用实时同步定向读数据可伸缩性：IOE到分布式数据存储解决方案X 8高配PC服务器小型机和高端存储核心思路1）自主/可控数据库代替商业数据库 2）大量shard PC 代替集中式的小机 分担风险3）大量PC内存或flash代替DMX存储的IOPS 响应时间网络伸缩瓶颈IDC交易系统LB账户系统交易数据库账户数据库交易数据库账户数据库交易数据库V 3网络可伸缩性：消除网络设备瓶颈IDCconfreg交易系统账户系统交易数据库账户数据库交易数据库账户数据库交易数据库V 4服务器伸缩瓶颈IDCconfreg交易系统账户系统交易数据库账户数据库交易数据库账户数据库交易数据库V 4服务器伸缩：服务器扩展到多个IDCIDC1IDC2confreg