Linux下高性能网络服务器设计.docVIP

Linux下高性能网络服务器设计 　　摘 要：本文讨论了Linux下一种高性能网络服务器的设计，采用线程池和内存池技术，AIO技术和缓存技术以及消息队列可以大幅度提升系统性能，减少服务端开销，可胜任高负荷高吞吐量环境需求，测试表明该系统性能优势在高负荷情况尤其明显。 　　关键词：TCP/IP队列缓存线程池内存池网络服务器AIO;epoll 　　 　　1.引 言 　　 　　随着互联网应用的普及，从互联网获取数据的用户不断增加，对互联网服务器的访问量更呈现几何级数增长。如何使服务器在面对大量用户请求，仍能应付自如，成为需要迫切解决的问题。 　　 　　2.影响网络服务器性能的主要因素 　　 　　2.1 线程或者进程开启消耗 　　传统的网络编程模式下，网络服务器为实现异步操作，必须为每个连接请求生成一个线程，当连接请求很多时，线程的调度，上下文切换，所付出的代价非常昂贵。虽然在linux下产生一个线程消耗的系统资源比较少，但不是说没有消耗，而且当系统需要响应数以万计的连接请求时，线程创建和上下文切换会让系统不堪重负。在使用select在打开文件数量上有限制(上限1024),如果需要打开更多的连接，一种可行的办法就是开启更多的服务端进程，以响应更多的连接请求。 　　2.2 系统I/O的瓶颈 　　随着互联网容量的扩大，CPU变得不堪重负。在网络数据流量比较大的时候，CPU几乎100％完全用于网络I/O处理，CPU时间完全耗费在协议处理，事件处理，内核用户上下文切换等方面。系统I/O瓶颈是影响网络服务器性能的关键因素。 　　2.3 不同网络条件下数据包的发送 　　数据包的转发有实时转发和延时转发两种方式。实时转发适用于网络负载比较小的状况，在网络流量比较大时，实时转发会消耗服务端更多的CPU时间，这是采用延时转发可以获得较好的性能。 　　2.4 超时的无效连接产生的消耗 　　有些客户端连接在连接上来后什么事情也没有做，这种客户连接导致网络服务器端创建线程，实实在在消耗系统宝贵资源，系统必须有超时机制，保证连接超时后服务端的资源自动释放，系统资源应该为真正的活动连接服务。 　　 　　3.相关解决方案 　　 　　3.1池技术 　　采用池技术可以大幅度提升系统性能，提高服务器响应速度，比较常见的两种池技术是内存池和线程池。 　　3.1.1 内存池 　　通过profile工具分析服务端程序，我们发现，服务端的资源开销有很大一部分花在了连接的创建上，另外还有一部分开销花在了对象的创建和销毁上。在一个完整的socket会话中，服务端要创建一个socket句柄，在会话结束时，必须关闭该句柄。事实上，服务器端完全可以建立一个socket连接池，当存在用户请求时，服务器端从内存池中获取一个socket对象来响应用户操作，当用户操作结束时，该句柄被回收到内存池中，可提高资源利用效率。另外在对象创建上，我们可以预先在内存中开辟一块区域进行对象分配，对一些常用的对象则放入到对象池中，避免不必要的对象创建和销毁。 　　3.1.2 线程池 　　线程池就是在系统中预先创建一组线程。线程池在请求到来之前，已经创建一定数量的睡眠线程；当请求到来后，线程池选择一个空闲线程处理该请求；当预先创建的线程都在处理用户请求时，在未达到最大线程数的前提下，线程池自动创建一定数量的新线程，用于处理更多的请求；当服务器比较空闲时，大部分线程都一直处于睡眠状态，线程池自动销毁一部分线程，回收分配的系统资源。 　　3.2AIO 　　异步非阻塞 I/O 模型是一种处理与 I/O 重叠进行的模型。读请求会立即返回，说明 read 请求已经成功发起了。在后台完成读操作时，应用程序会执行其他处理操作。当 read 的响应到达时，就会产生一个信号或执行一个基于线程的回调函数来完成这次 I/O 处理过程。使用AIO可以加速磁盘文件的读写。在网络AIO方面，Epoll实现了一个伪AIO，该模型在Linux2.6内核中引入，是目前效率最高的网络I/O模型。 　　3.3 消息队列 　　消息队列用于保存业务层消息，如果业务层消息不能及时处理则加入消息队列，等待系统空闲时处理该消息。 　　3.4 缓存 　　在内存中开辟一块区域，用于数据缓存，将用户查询使用的非实时数据放入缓冲区中，并根据查询的次数进行排序。当用户请求的数据在缓冲区中的化，将直接返回缓冲区中的数据给用户；如果用户请求的数据不在缓冲区中，则将数据添加进缓冲区中。若缓冲区满，则剔除查询频率最低的数据索引。 　　 　　4.系统体系结构 　　 　　在服务器的设计上采用水平层次化划分，大致分为三层，网络通信层，消息层和业务逻辑层。可以保证系统的可重用性。 　　 　　4.1网络通讯层