问题驱动-架构设.ppt

成本控制 解决方案 人力成本优化 可用的运维监控平台 自动故障转移系统 自动信息过滤系统 自动测试系统 代码发布,回滚和维护系统 共享机制和代码库建设 流量优化 冗余代码摘除,减少前端框架 静态文件CDN发布 客户端缓存优化 硬件优化 云计算平台 服务器瓶颈分析 集群化 替换大型商业服务器 成本控制 参考资料 敏捷开发系列分享ppt 自动测试系列分享ppt 云计算系列 百度和淘宝的几个分享ppt 总结 关键思路 如无必要,勿增麻烦. 集群扩充优先,而非极端单机优化优先. 无钻研,不尝试. @timyang 数据监控与分析是所有优化方案的基础. 任何方案和架构改进均基于计算. 持续性的挑战是必然的,问题就象灰太狼. 学会发现问题,分析问题 知道记录什么数据 知道怎么理解数据 问题驱动-架构设计之道 曹政 – 学习笔记 目录 本PPT目标 目标及挑战 速度为王 处理能力 海量存储 安全挑战 成本控制 结论 本PPT目标 架构优化环节繁多 前端i/o优化 分布式集群优化 DBA优化 服务器资源优化 No SQL方案此起彼伏 Redis 新浪微博 HBASE Facebook TT Server mixi.jp BeansDB 豆瓣 Mongodb … 关注重点因人而异 一个文档来涵盖所有细节？不可完成的任务！ 本PPT为引导性文档，具体细节请参阅和查询互联网公开资料 请根据自己的业务挑战，酌情选择适合自己的方案和内容。 目标及挑战 更多的访问量和请求 更多的登录用户 更多的注册用户 更多的活跃用户 更高的收益 更灵活的信息检索和排序 More and More …. 目标及挑战 速度是王道 更快的响应速度，毫秒级响应能力。 强大的处理能力 QPS，以万为单位。 以万为单位的并发处理。 海量数据存储能力 以T为单位的数据容量和亿为单位的记录信息 安全挑战 数据安全 运维及系统安全 灾难恢复和容错考虑 成本控制 低于或等于线性增长，切勿指数增长。 速度为王 访问速度是第一用户体验 影响速度的问题 监控与评估 分析与解决 参考资料 速度为王 影响速度的环节 网络i/o 前端代码冗余处理 客户端缓存化处理 CDN节点分布和多机房处理 服务器资源开销 CPU, 内存，物理磁盘 系统参数限定制约 应用服务的承载能力 Web Server DB Server Cache Server 处理程序的响应能力 PHP代码， sockets服务 其他因素 缓存失效诱发i/o请求激增 DDOS及网络异常 DNS解析异常 速度为王 速度监测 基本流量及访问量监测 前端页面加载速度评估（httpwatch） 用户页面打开速度监控（利用js+GA 实现多纬度拆解） 程序执行时间监测 抽样监测 流程分解 针对多层架构，每类服务请求和响应应给予足够监测。 服务延迟监测 SQL执行时间监测 多机房全网访问速度监测 雪崩前兆监测 系统过载监测 速度变化监测 流量异常预警 前端代码分析 代码冗余度分析 需要极客精神 速度为王 速度问题的分析与解决 减少一切冗余 轻就是好！ 优化请求数字，诸如cookie，js框架，css等 优化前后端加载代码 缓存化处理 前端静态内容的缓存处理 热点数据全部内存化 中间数据预读，预热 缓存命中率 容错性 前端请求优化 并行化处理 DNS寻址优化 部分内容异步加载 异常恢复机制 自动障碍转移 自动故障恢复 紧急发布和紧急版本回溯 速度为王 参考资料 Qcon 百姓网分享文档 Qcon 淘宝前端优化分享文档 杨建Blog /iyangjian 关键词 热点数据 预热，预读 异步加载 系统雪崩 作业 尝试使用 GA实现全网用户访问速度评估，以及分布式机房访问速度评估。 尝试给出用户从发起请求到获得页面的全过程时间开销清单。 尝试对命中率数据进行评估 处理能力优化 影响处理能力的问题 监测与评估 分析与解决 参考资料 处理能力优化 影响处理能力的环节 服务器资源分配 Cpu，内存，物理磁盘，网卡 进程，线程分配策略 I/O延迟 不必要的连接和等待 冗余代码调用 不必要的调用和计算量 冗余架构 不必要的连接和服务请求 容错性 潜在单点故障和雪崩风险 要理解雪崩链路 热点数据处理 热点的定义 热点的读取和写入 复杂的查询条件 较多查询项及索引结构 处理能力优化 处理能力监测与评估 资源和请求监测 服务器资源监测（cpu，内存，i/o压力） 连接数，并发数监测 数据库进程监测 慢查询监测 雪崩前兆监测 响应错误记录 资源报警 数据读写监测与评估 读写频次监控 重复性读写监控 热度汇集监控 冗余度评估 连接请求操作评估 空链接频次 资源申请释放监控 处理能力优化 程序逻辑优化 简单就是优秀 轻框架，减少调用逻辑 冗余代码摘除，非必要，