Orip：基于内存数据库的海量数据实时处理解决方案.pdf

Orip :基于内存数据库的海量数据 实时处理解决方案 李朝铭 (北京开拓天际信息技术有限公司首席架构师) 2010.4.3 目录 内存数据库简介 orip 内存数据库架构 orip 内存数据库应用开发框架 orip 内存数据库应用案例 orip 内存数据库开发 什么是海量数据处理？ 当数据量不断突破TB、PB、EB级时，当企业关键应用开始数据 大集中、应用管理大集中时，当企业数据库中心向多城市扩张时，当 前的数据库体系开始面临各种发展瓶颈： 如何将单一数据库通过Cluster集群方式扩展？ 如何利用Cache机制提高数据库访问速度、如何性能调优？ 如何保证数据库的备份、容灾安全、同步性、一致性？ --摘自本次大会网站主页 当在线用户数达到数万甚至是数百万时，当每分钟有数十万甚至数 千万SQL需要处理时，当用户请求要求在秒级甚至在毫秒级得到响应时， 而满足这些需求我们的money却非常有限时…… 应选用何种数据库？ 数据库如何设计？ 其安全可靠性如何保障？ --这是本演讲的主题 什么是内存数据库 • 什么是内存数据库？ 数据主要存储于内存中，具备数据库的基本功能 • 为什么要使用内存数据库? 一些应用要求极高的数据处理性能，而内存数据库性 能远远高于基于磁盘的关系数据库；内存价格已下降 • 常见的内存数据库有哪些？ （Altibase 、Timesten、SolidDB、BerkeleyDB、 eXtremeDB …..) 什么是ORIP ？ ORIP 是OnDemand 内存数据库 RealTime Information ProcessPlatform 的缩 消息中间件 写，中文名称为“实时 信息随需处理平台”。 SOA服务平台 内置了消息引擎、内存 广泛适用于电信、金 应用运行平台 数据库引擎、SOA 服 融、电力、税务、保 务引擎、企业信息服务 险、证券等数据量大、 动态Web服务器 总线和高可用管理模块 实时性和可靠性要求 等 高的行业 HA管理软件 更高的综合性能 • 相对传统关系数据库方式，总体性能有10倍以上 的提高 • DELL2950(2*4 2.5GHz CPU，16GB 内存)上并 发处理平均处理能力接近每秒20万个SQL • 在千兆网络下，ORIP单事例每秒可同时处理5万 个以上的并发HTTP请求（含内存数据库访问） 高可靠性 • Orip提供了redo 日志，保证了主机或ORIP进程在 意外down掉的情况下，数据能够可靠地恢复 • checkPoint机制兼顾了性能和故障恢复时间 • 支持事务和非事务模式 • 支持一个服务内多个事务穿插进行 更高的可用性 • ORIP 内置高可用(HA)软件特性，可支持双机热备、