《七夜___完全用nosql轻松打造千万级数据量的微博系统.pptVIP

Your company slogan 完全用nosql轻松打造千万级数据量的微博系统 七夜(李锦星) lijinxing@ 2010.12.17 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 重要小提示 架构说明 本架构只是起着抛砖引玉的作用,只介绍大概的架构.本架构注重的是可以动态扩展集群种的服务器。关于图片附件,数据备份等架构,今天不作介绍.有兴趣的话可以找我讨论.已有类似本架构的微博系统已经在实际运用 ID一致性的问题 通常ID是由mysql自增来产生的.但是在分布式集群里这样的自增ID就带来各个服务器之间的一致性的问题。在本架构中的唯一ID是由rdtsc+两位随机整数拼接而成的64位整数 唯一ID Key GPS Server KGS是本架构重要组成部分.GPS大家都知道是定位的意思.发送一条数据的ID过去。KGS就会告诉你该ID所对应的数据存放在哪几台服务器上.KGS是基于TokyoCabinet存储, epoll 事件驱动的单进程socket server Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 所使用的开源工具 LVS+NGINX + PHP 1 MySQL + handlersocket 2 Redis、 Tokyo Cabinet 3 zeromq (消息队列) 4 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 整体的架构图 架构图 原图请见 架构.png Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 架构具体讲解—访问流程图 看了架构图,到处都是线,是不是觉的很乱,眼花缭乱的.不要着急,现在我要以流程图慢慢的引领大家看清楚这个框架 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 名词解说 Handler socket 大家刚才可能比较奇怪,我的主题讲的是完全用nosql打造微博系统,怎么会又出现了mysql了?现在给大家介绍 Handler socket。HS 是小日本写的一款mysql插件.HS避开了MySQL通讯协议,直接读取MySQL引擎。在多核、大内存、 InnoDB引擎环境,性能直超memcached.HS能以Key-Value方式直接读写mysql引擎 ZeroMQ ZMQ是高性能的消息队列服务器.单纯的发简单的小文本消息和python的函数调用一样快.publish操作是个很耗时的操作.所以让publish集群从ZMQ取发布信息，在后台并行publish,大大的提高发布效率.当publish速度跟不上的时候,只要增加publish服务器就行. Key GPS Server 刚才简单的介绍过KGS,我再稍微深入一点介绍一下KGS.KGS是用TC来做物理存储的.把Key跟服务器的关系记录在TC的 hashdb里.这样做到多个服务器备份存储、权重、最小存储量优先级等一系列操作. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 数据分布结构 Redis Redis主要存储的是发布者和订阅者之间的关系。关系结构主要是以队列+各种信息的64位唯一ID组成,所以存储量是很小的.虽然存储量很小,但是操作量很大.所以放在redis上,redis以纯内存的方式运行,不启用redis自身的热备份.在运行Redis服务器上，同时运行着backend 同步进程。Backend的用TC来存储的.在信息发送给Redis的同时,也发送给backend进行存储.当redis重启的时候,从backend加载用户的结构关