股市动荡下的雪球架构进化历程.pptx

股市动荡下的雪球架构进化历程大纲q?关于雪球，关于我q?雪球总体架构q?雪球架构优化历程q?一些总结和感想关于雪球q?员工100+ ，技术人员占一半q?2014.9C轮 $40M by RENNq?Java，Scala，Akka，Finagle， Nodejs，Docker ，Hadoopq?租用IDC机房自建私有云，正在往“公有 云+私有云”方向发展关于雪球q?沪深港美2w+股票q?债券，期货，基金，比特币，信托，理财， 私募。。。q?百万组合，实时调仓信息q?百万日活，每天4亿API调用（不算自动 轮询接口）关于我q?前新浪微博架构师，微博ID@唐福林q?微博短链q?微博计数器redis，rediscounterq?微博用户关系服务q?微博稳定性、性能改进关于我q?雪球首席架构师，雪球ID@唐福林q?性能，稳定性，代码质量改进q?基础组件，微服务容器建设q?XDC雪球数据中心大纲q?关于雪球，关于我q?雪球总体架构q?雪球架构优化历程q?一些总结和感想雪球总体架构大纲q?关于雪球，关于我q?雪球总体架构q?雪球架构优化历程q?一些总结和感想2015年A股大盘走势IM 推送消息数 外网带宽消耗 挑战q?小VS 大：q?小：小公司的体量，团队小，机器规模小q?大：堪比大公司的业务线数量，业务复杂 度，瞬间峰值冲击挑战q?快速增长 q?移动互联网+ 金融，风口q?A股大盘剧烈波动优化前端q?Hybrid APP，端到端可用性监控q?接入层q?轮询Server优化q?业务层q?股价提醒，IM 推送，注册逻辑 …q?通用优化q?JDK8，config service，metricsq?Hybrid APPq?雪球App实践—构建灵活、可靠的 Hybrid框架q?/2015mobile/q?/data/ 2080769q?原生框架+ 离线H5页面APP端可用性监控 q?《移动时代端到端的稳定性保障》 q?每个请求里带上前一个请求的结果succ or fail ： 1 char失败原因：0 - 1 char请求接口编号： 1 char请求耗时：2 - 3 char其它：网络制式，etcq?q?q?q?q?Quote Serverq?开盘期间，每个在线客户端（包括web） 每1秒轮询一次当前用户关注的股票的价 格变动情况q?Netty+ 本地内存存储q?主动更新股价提醒性能优化q?雪球上热门股票拥有超过50w 粉丝（招 商银行，苏宁云商）q?粉丝可以设置：当这支股票涨幅或跌幅超 过 x%（默认7%）时提醒我q?曾经连续3天，每天超过1000股跌停，证 监会开了一个会，于是接下来2天超过 1000股涨停股价提醒性能优化（2） q?原来做法：股票涨（跌）x%，扫一遍粉 丝列表，过滤出所有符合条件的粉丝，推 送消息 q?新做法：预先建立索引，开盘期间载入内 存1%：uid1，uid22%：uid3，uid4，uid53%：uid6q?q?q?q?问题：有时候嫌太及时了：频繁跌停，打 开跌停，再跌停，再打开。。。的时候IM 推送性能优化q?聊天功能：送达率第一q?雪球IM：Netty+ 自定义网络协议q?Akka： 每个在线client一个actorq?推模式：client在线情况下使用推模式q?多端同步：单账号多端可登录，并保持各 种状态同步IM 推送性能优化（2）推送功能：瞬间峰值性能第一优化q?q?分配更多资源：推送账号actor池精简业务逻辑：重复消息只存id，实时提醒内容不推历史设备，不更新非活跃设备的Session列表等等本地缓存：拉黑等无法精简的业务逻辑迁移到本地缓存优化代码：异步加密存储，去除不合理的akka 使用q?q?q?q?注册模块优化 q?2015.7.10/17/24中国好声音q?预估广告播出期间2小时新注册100万q?压测发现DB 成为瓶颈：q?昵称检测cache miss 40%q?昵称禁用词where like 模糊查询q?手机号是否注册cache miss 80%q?注册新用户：5insert注册模块优化（2）q?优化： q?redisstore：昵称，手机号q?本地存储：昵称禁用词insert 操作同步改q?业务流程优化：DB 异步前置模块HAq?合作方合规要求：业务单元部署到合作方 内网，用户的敏感数据不允许离开进程内 存q?业务本身要求：业务单元本身为有状态服 务，业务单元高可用前置模块HA（2）q?解决方案： q?HazelcastIn-Memory Data Gridq?replicationmapq?java-XX:+DisableAttachMechanism-XX:-UsePerfData组合净值计算性能优化q?一支股票可能在超过20万个组合里（南车 北车中车，暴风科技）q?离线计算，存储计