海量数据库设计与实践-恩墨科技-盖国强-it168.pptVIP

恩墨科技 成就所托 www.eNMOU.com * * * ? 2009-2012 E All rights reserved. * ? 2009-2012 E All rights reserved. * ? 2009-2012 E All rights reserved. * ? 2009-2012 E All rights reserved. * ? 2009-2012 E All rights reserved. * ? 2009-2012 E All rights reserved. * ? 2009-2012 E All rights reserved. * 恩墨科技 成就所托 www.eNMOU.com 海量数据库设计与原则 -数据库架构设计与性能优化实践 盖国强 (eygle) 北京恩墨科技 MobileMSN: eygle@ Site : Mail: eygle@ Who am I 盖国强 北京恩墨科技有限公司 创始人 盖国强是国内第一个Oracle ACE及ACE总监 截至2010年已经出版了8本技术书籍，在国内拥有最广泛的读者群 国内最大技术论坛ITPUB的主要发起人之一 独家为甲骨文公司提供定制的“大师系列培训课程” 2006年中国十大杰出数据库工程师之一 2010年，他和张乐奕共同创建了旨在开展技术交流的中国Oracle用户组 （ACOUG – All China Oracle User Group），并开展了持续的公益活动 何谓海量数据库？ 何谓海量数据库？ 海量的界定 1996 - GB 2000 - TB 2010 - PB 10 PB 目前互联网所有归档数据量的两倍 Oracle Exadata 100 TB SAS or 336 TB SATA 5TB of flash storage 图片引自BackBlaze公司2011年1月数据 企业面对的数据现状 业务增长带来的压力提升 数据增长与访问性能下降 不断增长的存储与IO压力 扩展能力的瓶颈 将合适的技术应用到需要的领域 企业之道 了解系统:从关键应用开始 数据访问趋势 了解系统:从关键应用开始 关键业务操作 高频表的存储与优化 架构设计:了解数据访问频度 厂商之道 缓存为王:Default / Keep Cache Default Keep Recycle nK Buffercache C A B A C Working set 1 Working set 2 Auto-tuned … D F E D F B D E F Buffercache LRU CKPTs LRU CKPTs C A 缓存为王: Result/Flash Cache Result Cache 缓存查询结果 Server Result Cache Client Result Cache Flash Cache 二级缓存 作为内存的二级缓存 大量缩减物理I/O IMDB 内存数据库 Timesten – 十倍的性能提升 实时数据的快速处理 Extended Buffer Cache 120 GB Flash Cache 16 GB SGA Memory Hot Data Warm Data 1. Blocks read into buffer cache 3. Clean blocks moved to Flash Cache based on LRU* 2. Dirty blocks flushed to disk 4. User Process reads blocks from SGA (copied from Flash Cache if not in SGA) 360 GBMagnetic Disks Cold Data * Headers for Flash Cached blocks kept in SGA 缓存为王：Flash Cache 支持 技术之道 数据库的使命：读、写与展示 数据库的使命：读、写与展示 矛与盾的抉择：灵活性与性能 架构设计：分表、分区、分库 以用户体验为根本目标 基于对业务、数据库的深入理解，精确建模 设计线性可扩展、性能弱衰减的长效系统 线性理念推进到系统、业务分析阶段 通过限定，确保查询范围不扩大 通过确定的归档机制，定期、按规则将历史数据只读、分离和归档 海量数据的设计原则 最佳实践：降低CPU负载 最佳实践:用户体验的改善 最佳实践:查微与致远 Latch：Oracle用于控制内存并发的锁机制 最佳实践:以数据库的视角思考 1 3 5 8 1 3 5 cid data 1 1 12 3 24 5