余额宝的相关技术架构.pptx

余额宝的技术架构樊振华余额宝惊人的数字4）用户数≥1.5亿3）基金规模≥ 5700亿2）累计交易≥ 15亿笔1）运行时长≥ 1.5万小时12.3112.31600天600天2341技术创新的飞跃云上感觉真好！新型云直销实现行业第一，插上业务腾飞的翅膀双十一清算轻松完成，小收益快体验技术跨越去IOE,选择云计算，跨越式迈进面向未来，支持双十一指标嵌入式直销IOE架构，压力已行业最大值支持交易=3亿，账户数=800万嵌入式、清算整合、每日结转T0交易、一键开户技术创新余额宝系统技术创新之路基于IOE的架构一期架构下的瓶颈网络链路长，对天弘端的基础环境要求极高；扩展性不够，部分核心业务逻辑写到了DB层，非常依赖ORACLE的处理能力；未做分布式处理，单点的资源压力极大；单位建设成本高，IOE的购置和维护成本很大；基于阿里云的架构上云前的难点内忧外患，一期系统仅上线试运行一周，功能仍需完善；系统设计是否能通过监管要求，仍心存忐忑；超高指标，交易并发数从一期400指标突越至4000以上，几乎没任何心理准备和技术可行方案；全面短缺，时间、资源、人力都严重不足，从技术方案评估到研发完成只有2个月；研发团队完全没有云计算的工作经历，几乎没人熟悉mysql；分库分表和文件处理如何分？数轮讨论后，敲定按账户来分，根据签约协议号的后三位来均等分配。哪些表分？账户、交易、份额、份额明细、份额变动；历史表怎么办？合并数据导入数据仓库，再按时间来分；交互文件如何处理？每日须实时交易和文件逐笔对账，每小时一个文件，每天24个文件，再合并拆分成1000个节点导入对应的数据库；资产收益文件做导出合并；清算指标对比清算效率提升近30倍上云前上云后步骤时间（秒）步骤时间（秒）日初3994.77日初57.84数据导入996.53处理前备份94.27处理前备份543.3清算批检查11.92生成清算预检列表60清算批处理59.45清算预检116.08清算批处理数据同步60生成清算处理列表90快赎前备份106.88清算处理3905.73快赎导入7.34清算后提示信息60快赎批检查11.5支付汇总10.8快赎批处理26.3支付导出396.53快赎批处理数据同步1数据汇总2686.2支付处理40.7数据导出4162.26支付处理数据同步120日终11099.27支付导出7.94　　批后处理12.89　　批后统计27.75　　批后统计数据同步90　　数据导出4.13　　日终246.98　　份额同步12.61总计28121.47总计999.5系统投入产出比IT投入800万IT投入400万处理交易超15亿账户数已超1亿支持并发5000清算30分钟处理交易3亿笔账户上限1000万支持并发400清算8小时IOE阿里云二期架构下的问题多节点下的数据呈现还有点改进；应用状态监控还未能做到事前预警；程序调试和发布比较繁琐；清算过程和文件交互处理仍需要技术配合；余额宝的数据仓库ODPS数据存储总量 6T+(压缩值3-5倍)每日数据吞吐总量10G+自7月份开放以来执行任务数接近10万个复杂度大于1的任务数8000个以上余额宝的数据架构生产分析数据监控资金预测运营支持用户研究合规风控……业务支持数据安全权限管理自主开发采云间（DPC）外部开发数据工具云数据中心分类/聚类/回归/神经网络/…数据实验室算法建模隐私保护实时离线数据仓库RDS/ADSODPS/OSS行为监督数据接入业务数据日志数据外部数据其他数据安全审计第二代的架构设想完全采用分布式计算；重构服务层；支持实时和离线两种交易方式；交易和结算功能分离，统一账户；谢谢！