合理利用二级缓存技术提高数据库整体性能.pptVIP

提高数据库性能的方案 通过硬件方案提高性能(加CPU、内存) 扩展能力有限 通过软件优化提高性能(程序修改、配置调优) 只能针对现有环境 通过集群方案提高性能(多服务器通过高速网络连接进行性能扩展) 如何处理数据同步、缓存同步、数据可靠性 您的数据库服务器是否有如下情况 CPU占用不高 多层应用开发架构下，业务逻辑大多在应用层 数据库内存使用率不高 通常分配给数据库管理的内存只占服务器内存的一半或以下 大数据量查询时硬盘I/O不足 并发进行大量数据操作时，I/O成为系统最大瓶颈 通常数据库性能的瓶颈在哪里？ CPU？多路、多核、多层应用架构…… 内存？DDR2、DDR3、64GB、128GB…… 硬盘？通常情况下，这正是数据库服务器的性能瓶颈 空间与性能的矛盾 内存中访问数据的速度很快 而磁盘中访问数据的速度很慢 内存空间有限并且扩充困难 而通常磁盘空间是充足 内存:硬盘 - 30:1 业界如何解决数据库的I/O瓶颈 已有的解决方案 128块4GB双通道HBA卡 + 282个存储柜（共3380块1.5K硬盘），以大大提高磁盘I/O。 [ 这样的配置很难在常规环境下重现 ] 通过大量廉价的Memcache服务器，以减轻数据库服务器的磁盘I/O负担。 [ 应用系统要经过大量重新开发 ] 通过SSD磁盘进行数据存储，实现高速I/O [ 当前成本过高无法存储大量数据 ] 实例场景 场景：当前有一台16GB内存的服务器 思考：您会给数据库分多少缓存 2GB 4GB 8GB 16GB (@_@) 数据能更多地缓存在内存中，将可以最大程度地提高系统性能 数据库“二级缓存”技术EnterpriseDB Infinite Cache 利用内存打破磁盘I/O瓶颈 透明操作颠覆内存数据库概念 支持无限横向扩展 高达12倍内存压缩保存更多数据 实现高达16倍的性能提升 Infinite Cache原理 数据完整性如何保证？ 数据写入过程与“二级缓存”无关 更新数据块时对“二级缓存”进行异步跟新 启动Infinite Cache postgresql.conf配置 什么场景不适合使用数据库“二级缓存” EnterpriseDB数据库历史 EnterpriseDB产品线介绍 TPC-C测试对比 Slide: * 创新思维，引领数据库革命 Slide: * 创新思维，引领数据库革命 合理利用“二级缓存”技术 提高数据库整体性能 萧少聪 [Scott Siu] scottsiu@ (+86--创新思维，引领数据库革命 EnterpriseDB Postgres Plus Advanced Server 2009-11-20 EnterpriseDB Infinite Cache 数据库“二级缓存”技术 EnterpriseDB与PostgreSQL的性能差别 有无Infinite Cache的性能差别 EnterpriseDB APP icache Node 2 icache Node 3 icache Node 1 DISK Blk 16 Blk 8 Blk 3 Blk 40 Blk 10 EDB Blk 4 Hash(3) select(4) select(3) Hash(10) Data sync Data async commit APP PPAS icache Node 2 icache Node 3 icache Node 1 DISK 无需任何改变 cache 设置配置文件 需要启动edb-icache # edb-icache -u enterprisedb -d -m 1024 # killall -HUP edb-icache 参数设置 postgresql.conf edb_enable_icache = on edb_icache_servers = localhost, :11000, edb_icache_compression_level = 6 # edb-icache-tool 5:11211 stats 参数设置 edb_enable_icache = on 缓存服务器 edb_icache_servers = localhost, :11000, 压缩比率 edb_icache_compression_level = 6 “人无完人”，技术也是一样。 世上还没有一种可以解决所有问题的技术。 What is EnterpriseDB ? 发源史 EnterpriseDB的Postgres系列数据库与DB2，Oracle是同一时代的产品 衍生出Informix，Sybase，SQL Server等数据库，都在良性发展 发展史 1977 Ingres项目 1985