大用户量下的的系统架构.ppt

无限扩展 大用户量下的系统架构 问题 一个高并发的系统 一个稳定的系统 一个高扩展性的架构 一个简洁的方案 我们需要的是 解析 系统架构中的底层元素 稳定性和扩展性 后台数据处理 前台用户请求 实时数据和非实时数据 要做到这一点必须要考虑.... 简洁 简洁是最重要的设计依据 将复杂的系统拆分成简洁的模块 减少系统维护的代价 限制使用复杂的功能 简洁的Sql 必须对Sql的使用做限制 绝对不允许出现跨表的查询 DB的设计更大程度上取决于缓存的设计 防止穿透缓存直接到达DB的访问 将业务逻辑放到代码中实现,不要忘了DB的主要作用毕竟是存储 简洁的缓存 必须限制使用缓存的方法 本地缓存/集群缓存 维护缓存的数据 拒绝维护多个缓存之间的同步 简洁的服务 什么才是服务 没有业务逻辑的基础服务 包含业务逻辑的复杂服务 独立折分和部署 数据读写部分只交给服务处理 尽量减少服务之间的相互依赖 Controll负责服务之间的调度 简洁的扩展 因为简洁,所以容易 Mysql的读写分离和分库 分布式的Memcache 多个Service的布署 多个Controller的布署 强大 工欲善其事,必先利其器 尽可能多的做设计 尽可能少的写实现 尽可能多的测试 尽可能多的分析 强大的DAL DAL应该做到的事情 控制Sql的使用 一个黑盒子 详细的日志记录 强大的Scallop Scallop又该做什么 零代码,非侵入 和SCA的完美融合 如何控制Service的加入和移除 保留多种负载均衡模式的扩展性 强大的SCA 你做什么都可以告诉SCA 轻代码 非侵入性 RMI/WebService/JMS 简单的服务和复杂的服务 强大的代码生成工具 什么才是工程师必须做的 你来做数据库/Service/复杂业务逻辑 我来做底层代码/Service/配置文件的实现 不把时间花费在重复执行的环节上 核心 系统设计中考虑的核心 拆解模块 模块之间如何交互 计算的部分 存储的部分 交互的部分 变化的部分 将系统拆解成Service 为什么选择Service 复用 高内聚 调试 部署 RMI是系统调用的核心 最常使用的调用方式 高效 很低的学习曲线 JMS是系统解耦的核心 什么时候使用JMS 解决长尾逻辑 更轻松的方式 稳定的消息系统 ETL是计算部分的核心 如何使用ETL ETL用来做数据转换 ETL不应该直接读写自己的DB ETL一般情况下只允许部署一台 ETL的日志监控和统计邮件 ETL的部署 缓存架构是系统性能的核心 缓存,还是缓存 缓存是用来解决并发问题的 缓存不是内存数据库 缓存是分级别的 存储系统的扩展性 虽然我们拥有缓存,但是 Mysql依然做好了大数据量的准备 读写分离是需要的 虽然单表的性能支持千万级别的记录,还是需要使用分库的功能 分库对Sql的使用要求更严格 Comet是用户交互的核心 已经相当成熟的技术框架 Erlang对大规模用户量的支持 Comet技术对用户交互的体难 Drools和Groovy是动态计算的核心 总有些非实时的计算 那些变动比较大的业务逻辑 工程师和业务人员的协作 核心回顾 系统设计中考虑的核心 拆解模块 (Service) 模块之间如何交互 (RMI/JMS) 计算的部分(ETL) 存储的部分(Mysql/读写分离/分库) 交互的部分(Comet) 变化的部分(Drools/Groovy) 系统架构图 Service Service Service Service Service Service Cache Cache Cache Cache Cache DB DB Service Service Web Web Web Web 技术架构表 序号 名称 技术 1 DB Mysql 2 Cache Ehcache 3 Cache Memcache 4 服务 Tuscany 5 调度 Scallop 6 框架 Spring 7 Web服务器 Tomcat 8 JMS QPID 9 Comet Erlang 10 代码生成 Velocity 11 定时任务 Quartz 12 单元测试 JUnit 13 动态脚本 Groovy 14 规则引擎 Drools 15 项目管理 Maven