消息隊列的设计.docVIP

消息队列的设计 在网络服务器的设计中,经常使用多进程/多线程.这就涉及到在进程/线程间共享数据. 现在我们假设一个场景,一个进程/线程负责处理网络收发,一个或多个进程/线程处理 收到的网络数据包. 显然,我们可以在每一对协作进程/线程间添加一个队列,将数据添加到队列中,以实现 两个进程/线程的协作. 我们的消息队列主要的设计目标有三个: 1)要可以使用在进程与进程和线程与线程之间.当在进程之间通信时,我们的消息队列 将会被放在共享内存中. 2)避免使用锁机制,其一方面原因是锁的开销较大,另一方面是因为,对于在共享内存中 使用消息队列时.如果一个进程获得锁之后崩溃,另一个进程将得不到任何的通知.当它 要获得锁的时候,将会阻塞在永远不会被释放的锁上(unix like的系统). 3)可向队列中加入变长的消息,减少memcopy的次数. 基于以上目标,每一个消息队列只能有一个写者,一个读者,以避免锁的使用. 消息队列用数组实现循环队列.数组中的每个元素是以下结构: view plaincopy to clipboardprint? templateint MsgSize struct msgBlock { int next; //下一个块的下标,如果是最后一个block,则==-1 int totalSize;//整个消息的大小,仅对消息中的第一个块有效 int size; //本块有效数据大小 char msg[MsgSize]; int getAvaSize(char *p) { return MsgSize - int(p - msg); } msgBlock():next(-1),totalSize(0),size(0){} }; templateint MsgSize struct msgBlock { int next; //下一个块的下标,如果是最后一个block,则==-1 int totalSize;//整个消息的大小,仅对消息中的第一个块有效 int size; //本块有效数据大小 char msg[MsgSize]; int getAvaSize(char *p) { return MsgSize - int(p - msg); } msgBlock():next(-1),totalSize(0),size(0){} }; 每个完整的消息都是由1个或连续数个msgBlock组成.这样就可以实现在消息队列中传递 变长的消息包. 消息队列的接口如下: view plaincopy to clipboardprint? struct wPos { int blk; char *pos; wPos():blk(-1),pos(NULL){} }; templateint MsgSize = 1024,int QueueSize = 4096 //MsgSize,每个block的大小,QueueSize,最大消息数 class MsgQueue { public: templatetypename T int WriteNum(const T val); templatetypename T int ReWriteNum(wPos *pos,const T val); int WriteString(char *str); int WriteBin(void *bin,int len); wPos getWPos(); /* * brief: 向队列提交一个完整的消息 */ void MsgPush(); /* * brief : 读出一条完整的消息 */ int MsgPop(void *buf); //返回队列中第一个msg的大小 int GetFirstMsgSize(); }; struct wPos { int blk; char *pos; wPos():blk(-1),pos(NULL){} }; templateint MsgSize = 1024,int QueueSize = 4096 //MsgSize,每个block的大小,QueueSize,最大消息数 class M