浅谈服务器单IO线程＋工作者线程池模型架构及实现要点.docxVIP

浅谈服务器单I/O线程＋工作者线程池模型架构及实现要点 2021-01-19 我们晓得，服务器并发模型通常可分为单线程和多线程模型，这里的线程通常是指“I/O线程”，即担任I/O操作，协调安排任务的“管理线程”，而实际的恳求和任务通常交由所谓“工作者线程”处理。通常多线程模型下，每个线程既是I/O线程又是工作者线程。所以这里争辩的是，单I/O线程+多工作者线程的模型，这也是最常用的一种服务器并发模型。我所在的项目中的server代码中，这种模型随处可见。它还有个名字，叫“半同步/半异步“模型，同时，这种模型也是生产者/消费者（尤其是多消费者）模型的一种表现。 这种架构次要是基于I/O多路复用的思想（次要是epoll，select/poll已过时），通过单线程I/O多路复用，可以达到高效并发，同时避开了多线程I/O来回切换的各种开销，思路清楚，易于管理，而基于线程池的多工作者线程，又可以充分发挥和利用多线程的优势，利用线程池，进一步提高资源复用性和避开产生过多线程。 1.模型架构 ? 2 实现要点 2.1 单I/O 线程epoll 实现单I/O线程的epoll模型是本架构的第一个技术要点，次要思想如下： 单线程创建epoll并等待，有I/O恳求（socket）到达时，将其加入epoll并从线程池中取一个空闲工作者线程，将实际的任务交由工作者线程处理。 伪码： 伪码可能写的不太好，其实就是基本的epoll使用。 但要留意和线程池的协作使用，假如线程池取不到空闲的工作者线程，还需要做一些处理。 2.2 线程池实现要点 server启动时，创建肯定数量的工作者线程加入线程池，如（20个），供I/O线程来取用； 每当I/O线程恳求空闲工作者线程时，从池中取出一个空闲工作者线程，处理相应恳求； 当恳求处理完毕，关闭相应I/O连接时，回收相应线程并放回线程池中供下次使用； 若恳求空闲工作者线程池时，没有空闲工作者线程，可作如下处理： (1)若池中”管理”的线程总数不超过最大允许值，可创建一批新的工作者线程加入池中，并前往其中一个供I/O线程使用； (2)若池中”管理”的线程总数已经达到最大值，不应再连续创建新线程， 则等待一小段时间并重试。留意由于I/O线程是单线程且不应被堵塞等待在此处，所以其实对线程池的管理应由一个特地的管理线程完成，包括创建新工作者线程等工作。此时管理线程堵塞等待（如使用条件变量并等待唤醒），一小段时间之后，线程池中应有空闲工作者线程可使用。否则server负荷估量是出了问题。 Java后端架构，关注猎取更多技术共享 欢迎加入 联系QQ：517894513 QQ群号码：217023887