海量信令数据共享的关键问题及解决.ppt

大规模数据并发实时处理的能力（大规模关联计算能力） 达到P级的数据存储和快速访问能力（传统数据库承载不了） 硬件机器群的支持和规划 开发新应用的灵活性 智能采集硬件实现无损信令解析 。充分利用采集侧硬件已有资源 。降低了对信令处理服务机群的压力和依赖 。能在L3上实现无损压缩，算法平均压缩率在8倍左右 。从底层支持实时类应用（标签） 核心技术之一 分布式海量存储文件系统 核心技术之二 分布式海量数据库 。基于C，兼容linux,bsd,unix 。基于列存储，适合不断追加应用标签 。Write-Once Read-Many 。类SQL的自定义查询语言 。查询引擎是分布式，性能能随机器数量接近线性增长 。实际最大集群例子：20P数据，5000个节点 核心技术之三 分布式高速消息队列 。基于内核优化（RealTime Linux）的实时消息队列服务 。支持生产者／消费者模式（实时） 。支持主题／定阅者模式（准实时） 。在万兆网（10Gb）上实现最小40us的end-to-end延迟(512bit大小)? 。在4路opturon服务器上能实现10M包／秒的吞吐量（100bit） 核心技术之四 关联计算用的分布式内存数据库 。基于高速哈希表和优化B+树算法 。基于（key,value）对的键值查找算法 。基于分布式内存数据库模式 。可用于加速包括用户识别，位置识别等等实际需要的应用标签过程 部分数据处理底层技术案例 。大话西游1游戏服务器后台架构 。垂直行业数据搜索分发引擎（客户是国外IC行业龙头CorpTools） 谢谢各位的聆听！ * 海量数据共享平台的技术挑战 应用对信令数据平台处理能力的需求 存在三个不同级别 实时（10us ~10ms）, 如语音监听 准实时（10ms ~ 10s），如手机定位 非实时（10s ~）, 如营销数据挖掘 基于开源内核的海量数据库的底层支持 稳定，冗余，经过超过8年的业界应用验证 比传统的FS集群文件系统更具可伸缩性优势 *