glib库异步队列和线程池代码分析.doc

glib库异步队列和线程池代码分析 2009-07-15 14:55 本文章主要讲了两部分内容：一是分析了异步队列的原理和实现，二是分析线程池的原理和实现。 在多线程程序的运行中，如果经常地创建和销毁执行过程相似而所用数据不同的线程，系统的效率，系统资源的利用率将会受到极大的影响。对于这一问题可用类似glib库中的线程池的解决办法。 我们可以这样想像线程池的处理，当有新的数据要交给线程处理时，主程序/主线程 就从线程池中找到一个未被使用的线程处理这新来的数据，如果线程池中没有找到可用的空闲线程，就新创建一个线程来处理这个数据，并在处理完后不销毁它而是 把这个线程放到线程池中，以备后用。线程池的这个原理和内存管理中slab机制有异曲同工之妙!我想无论是线程池的这种处理方式还是slab机制，其本质 思想还是一致的。 近来做的项目，在框架中用到了多线程的异步队列，实现形式和glib中的异步队列极其相似，而glib线程池中的代码也用到了异步队列（名字用同步队列更合适），因此就先分析一下异步队列。 异步队列的概念是这样的：所有的数据组织成队列，供多线程并发访问，而这些并发控制全部在异步队列里面实现，对外面只提供读写接口；当队列中的数据为空时， 如果是读线程访问异步队列，那么这一读线程就等待，直到有数据为止；写线程向队列放数据时，如果有线程在等待数据就唤醒等待线程。 异步队列主要代码剖析： 异步队列的数据结构如下： struct _GAsyncQueue { GMutex *mutex; //互斥变量 GCond *cond; //等待条件 GQueue *queue; //数据队列 guint waiting_threads; //等待的读线程个数 gint32 ref_count; }; g_async_queue_push_unlocked (GAsyncQueue* queue, gpointer data) { ………//这些点代表一些省略的代码 //把数据放入队列 g_queue_push_head (queue-queue, data); //现在队列已经有数据了，判断是否有读线程在等待数据， //如果有就发送信号唤醒读线程 if (queue-waiting_threads 0) ??? g_cond_signal (queue-cond); } g_async_queue_push (GAsyncQueue* queue, gpointer data) { …….. g_mutex_lock (queue-mutex); //在访问临界区前先获得互斥变量 g_async_queue_push_unlocked (queue, data); //执行写数据操作 g_mutex_unlock (queue-mutex); //释放互斥变量，以使其它线程可以进入临界区 } 从以上的接口可看出，”…._ unlocked” 这样的接口就是异步队列这个对象已获得互斥变量的接口，glib中线程处理相关接口都有类似的命名规则，在接下来的代码分析中，如没有特别的需要就只看”…._ unlocked” 这样的接口。 // 读线程从异步队列中获取数据的接口 // try参数和时间参数在多线程同步/内核多进程的实现中是很常见的东西了，在这里就不再作特殊的解释了。 g_async_queue_pop_intern_unlocked (GAsyncQueue *queue, ??????????????????????????? ?? gboolean???? try, ??????????????????????????? ?? GTimeVal??? *end_time) { gpointer retval; //判断是否有数据在队列中，如果没有就要执行if语句相应的睡眠等待，直到被写进程唤醒 if (!g_queue_peek_tail_link (queue-queue)) ??? { ????? if (try)//如果try为真，则永远不睡眠 ?????? return NULL; ????? ??? // 接下来是要让线程进行睡眠等待了，在等待之前先确保等待条件已创建 ????? if (!queue-cond) ?????? queue-cond = g_cond_new (); ????? if (!end_time) // 等待无时间限制 ??????? { ????????? queue-waiting_threads++; // 等待线程数加一 ????? // 这里为什么用循环？因为这是多线程的环境，有可能有多个读线程在等待 ????? // 当前线程被唤醒时，有可能数据队列中的数据又被别的线程读走了，所