高性能系统实践——中国软件开发者大会.pptVIP

高性能系统实践 陈 皓 2012年9月 个人简介 行业背景 金融行业(Thomson Reuters) 计算平台(Platform) 电子商务(Amazon) 技术背景 C/C++/Java Unix/Linux/Windows Web Weibo: @左耳朵耗子 Twitter: @haoel Blog: / 我的个性 码农兼包工头 敏捷恐怖分子 Unix/Linux/C/C++脑残粉 C2C痛恨者 CSDN腾讯百度批评人 “技术部分无技术种族”歧视者 程序员文化民族主义者 什么是高性能？ 节省资源 跑得更快 为什么要关注软件性能 软件性能关我鸟事 机器速度越来越快（摩尔定律） 硬件价格越来越便宜 软件比硬件贵 软件性能还真关我鸟事 数据中心问题 ? 全球环保(电费) 移动设备问题 ? 用户体验(电池，流畅) 软件运维问题 ? 个人生活(解决线上问题) 钱，钱，钱 大纲 架构性能 前端性能 代码性能 网络性能 I/O性能 性能调试 主要关注性能优化的方向 无架构 有架构 性能优化就像在疏通交通 高性能架构的设计原则 永远的Scalability 只需要加机器就可以解决性能问题 三维Scalability X 轴扩展 – 分布式，负载均衡，数据冗余/分区 Y 轴扩展 – 业务异步，消息队列，缓存技术 Z 轴扩展 – 业务模式扩展 高性能架构的设计原则 最小化系统的耦合性 SOA 概念 API Service Protocol Data Store(DB, FS, …) Link Lib Share Memory 模块组件化- 拼装 PC调化- 哪块不行换哪块 优雅的设计满足业务需求的变化 如果cache选用memcache，你所有的代码都耦合memcache，如果你哪天想换redis，你需要大面积地修改代码，封装cache，可替换。 高性能架构的设计原则 尽可能的节省资源 尽可能地并行处理 并不是多线程就好 尽可能地平衡负载 CPU，Mem，I/O，带宽，数据 性能设计的坑 数据一致性、系统运行和维护 X 轴扩展 客服系统 每个人都干一样的事 X轴扩展三板斧 数据镜像 数据分区 负载匀衡 X轴扩展——数据镜像 数据复制/镜像 主动同步 – 所有的服务器接收相同的操作 被动同步 – 被动接收来自其它服务器更新 主从同步 – 就备像一样，主服务器用于写，从服务器用于读 主主同步 – 注意主键（同步数据 vs 同步操作） MVCC 数据同步（Paxos投票 – 磨叽算法） 难点 一致性 X轴扩展—— 数据分区 数据分区 数据类型（如：访问位置、业务类型） 数据范围（如：时间段） 数据热度（如：用户活跃度，商品热度） 按读写分（如：商品描述 和 商品价格） 难点 建索引找数据 数据关联性（全文搜索） 系统运维（生产线上的数据分区） X轴扩展——负载均衡、数据分区冗余 负载均衡 CDN 反向代理（DNS 负载均衡 CNAME） 哈希负载均衡（一致性哈希） 主结点分发 vs 各个结点过滤 纯动态节点负载均衡负载（CPU, Mem, I/O …） 难点 Session Y 轴扩展 Y轴扩展三板斧 缓存 异步 消息 Y轴扩展 —— 缓存 缓存机制 无处不在（浏览器，文件系统，CPU，数据库……） 缓存命中率，多级缓存 缓存更新策略 LRU，LFU，FIFO 分布式cache - NoSQL 注意 缓存更新算法 缓存重建 缓存异常（如：爬虫） Y轴扩展 —— 异步 异步处理 部分牺牲实时性和事务 异步工作流控制 异步的通知方式 — 消息，回调，主动查询，等 异步工作流引擎 难点 业务回滚 一致性 一般使用Plan ? Reserve ? Confirm方式解决回滚和一致性，但是牺牲性能 Y轴扩展 —— 消息流 任务队列、消息队列 Push 方式 实时，但需要消息队列支持，容易冲跨对端 Push优化 – 合并消息，批处理 Pull 方式（结点有空时才做） 不实时，但简单，并容易加入新结点 持久化和批处理 Pub/Sub系统，ESB架构 Throttle机制 防止性能过载 难点 数据依赖 数据顺序 数据丢包重发 Web前端性能优化 前端网页性能 单个页面的HTTP请求最小化（合并文件，CSS Image Sprites） Ajax 降低数据传输（Quora 长连接，GET请求） 网页大小 静态资源的CDN gzip/deflate网页 压缩js/css文件 使用公用的js文件服务器 使用多个二级域名分流（图片服务器） HTML5 特性（canvas，本地存储） Expire Header 肥客户端 前端MVC，Ember.js/Backbone.js