超大规模信官息系统核心技术 丁轶群 博士@还是看书.pptxVIP

超大规模信息系统核心技术 丁轶群 博士 @还是看书 超大规模信息系统定义 超大规模信息系统总体框架 超大规模信息系统的一些细节 性能建模 存储 安全 消息 Agenda 超大规模信息系统指的是规模庞大、结构复杂、目标多样、影响因素众多，具有高可靠性、高并发性和高可扩展性的信息系统。其中： 规模庞大：主要反映在以下维度[1] [4] [5] 原代码多：可达到上百万行代码 开发人员多：几百上千人，全球多个团队协作开发 数据量大[2] ：处理的数据达到PB级 并发量大：可能会全球上亿人同时访问 结构复杂：包括以下几个方面[1] [4] [5] 组件关系复杂：可能会有遗留系统的组件、第三方组件和自己开发的组件 持久化机制复杂：可能有文件、数据库等 硬件平台复杂：可能包括嵌入式系统、PC、大型机、手机、传感器等等 超大规模信息系统在工业界、政府、军队和科研机构都有广泛的应用[3]，如一些大型互联网内容提供商、电子商务、文本、视频系统、在线游戏、金融系统、医疗系统、海量科研数据处理，等等。 超大规模信息系统定义 1/2 超大规模信息系统定义 2/2 Name Example Concurrency Server Lines of code Data size Small system 个人网站、公司、政府的门户网站 每天几百次访问 一台PC机即可 几千行 MB Medium system Freecity, MIS, etc 几千用户同时访问 专门的服务器 几万行 GB Large system 19楼、天涯、猫扑 上万用户同时访问 专门的服务器集群 几十万行 TB Very large system Google, Taobao, Facebook, Youtube, etc. 上亿用户同时访问 大型数据中心 上百万行 PB Ultra large system Future TBD 云计算、互联网 上亿行代码 EB? 超大规模信息系统总体框架 1/2 事务密集型 数据密集型 超大规模信息系统总体框架 2/2 目标：速度 可扩展性 可靠性 =自行开发或较大改动 =利用现有工具 =暂时不做 性能专家面对的问题 20% 的应用程序存在过性能问题 50% 的主管对性能有信心 14% 机构有正式的性能管理流程 71% 机构性能问题被用户投诉 性能建模-问题 1/2 A Survey from 150 euro senior IT Managers ，2006 难以忽视的真相 It 公司卖的是功能不是性能 项目按期完成就是胜利，失败也要按期失败！ 性能专家就是救火队员 (PEG?) 有系统，没测量设施 ( 悬丝诊脉 ?) 性能建模-问题 2/2 Guerrilla Capacity Planning: A Tactical Approach to Planning for Highly Scalable Applications and Services 性能建模: 为计算机软件、计算机硬件、系统用户行为建立数学模型,以数学推理方法预测系统在不同负载下的性能 性能=f(系统负载，系统资源) 性能建模-是什么 性能建模-流程 性能建模-实例 Predict the performance of a Post trade system Technology: Struts Servlet Hibernate JDBC Topology: 性能建模-实例 性能建模-实例 过载控制 容量规划 定量评估系统组件、系统架构 评估新功能、新用户、新平台的性能影响 性能建模-应用 存储事务---总体思路 1/2 In a considerable number of modern applications (multiplayer games, risk analysis in electronic trading, gambling, social networks, etc.) OldSQL is cracking under the volume of interactions. Two alternatives to OldSQL: NoSQL, where both SQL and ACID transactions are jettisoned for better performance NewSQL, where SQL and ACID are retained, and better performance is delivered through innovative architectures 15 --- 横跨数据库理论界和业界的大牛Michael Stonebraker 存储事务---总体思路 2/2 16 云存