网络算法学概述.ppt

*这是本课程的两个主要内容：了解基本的网络性能瓶颈，学习解决这些瓶颈的一组基本技术。第一章网络算法学概述1网络算法学：采用跨学科的系统方法组织网络实现。2网络算法学是一种跨学科的方法：包括体系结构、操作系统、硬件设计、算法设计等领域。3网络算法学是一种系统方法：将网络设备看成是一个系统，一些功能可在不同的子系统间迁移，达到提高网络设备性能的目的。什么是网络算法学？网络算法学提倡的方案是解决这些瓶颈的一组基本技术。2网络算法学要解决基本的网络性能瓶颈。1网络算法学要解决什么问题？网络的端点，包括PC机、工作站、服务器等针对通用计算而设计运行全功能的操作系统端节点：1代表一类通用的网络互联设备，包括网桥、交换机、网关、监视器、安全设备等。网络专用设备。运行一个很轻量级的OS，以及一个清晰隔离的、完全由硬件实现的转发路径。路由器：2网络设备的两种基本类型IP路由器的一般结构01结构化：软件分层：OS按照分层原则组织保护机制：OS都实现了一组保护机制过度一般化：核心例程使用一般机制完成02规模：许多OS使用只能支持少量连接的低效算法和数据结构03主要性能瓶颈：数据拷贝，上下文切换，系统调用，定时器，解复用，校验码计算，协议处理端系统性能瓶颈的产生01规模：Bandwidthscaling：链路速度和网络流量不断提高Populationscaling：因特网规模不断增大02服务：为网络应用提供服务质量、安全性和可靠性保证03主要性能瓶颈：精确查找，前缀查找，包分类，交换，公平排队，流量测量，安全检查路由器性能瓶颈的产生网络设备是一个系统，它由多个在不同时间点上实例化的子系统互联而成。通常可以通过在时间及空间上移动一个子系统中的某些功能来设计出高效的子系统：某些功能可以移到其它子系统中实现可将功能移到需要该功能的时间之前或之后解决瓶颈的技术：网络算法学控制卡、线卡和转发引擎卡通过一个高速交换结构连接：基于交换的路由器架构每块线卡包含多个网络接口每块转发引擎卡包含路由缓存，负责包头处理与转发控制卡提供基本的管理功能。应用背景：检测利用HTTP消息中的URL域实施的内存溢出攻击。01提取攻击特征：URL很长，且字符出现比例异常。02设计要求：要求芯片设计师设计一个硬件，对包含可疑URL的包进行标记。03一个热身的例子：检测异常URL的硬件朴素的解决方案维护两个长度为256的数组T和C：数组T：保存正常的URL中各个字符出现比例的上限数组C：统计各个字符在当前URL中出现的次数每当开始一个新的数据包时，对数组C清零。找到URL的起始位置后：每读入一个字符“i”，C[i]加1。扫描到URL终结符时，得到URL的长度L。遍历T和C：对于任何一个j，如果C[j]≥L*T[j]，标记该分组。算法分析线速处理：一个分组必须在下一个分组到来之前处理完。假定C[i]加1可以在每个字节到来的时间内完成。算法对数组C有两次额外的遍历：新的数据包开始时，初始化C为零。扫描完URL后，检查各个字符的出现比例是否超限。两次遍历至少需要768次读/写操作：C数组读、写各一次T数组读一次算法优化：取消URL结束后的遍历基本思想：只跟踪最高的相对出现次数。方法：使用一个寄存器维护到目前为止最高的相对出现次数：Max=max{C[i]/T[i]}。每读入一个新字符“i”，C[i]加1若C[i]/T[i]Max,更新Max值。URL扫描结束后，若Max≥L，标记分组。利用硬件特性：消除除法运算问题：除法逻辑比较复杂，应尽量避免。放宽假设：对于每个T[i]，用不大于T[i]的近似值（1/2k）表示。改进后的处理过程：除法用移位代替，T[i]中存放移位的次数。读入新字符“i”后：C[i]加1左移T[i]位若移位后的值大于Max,更新Max。当URL扫描结束后，如果Max≥L，标记分组。利用硬件：合并对T和C的读操作问题：每处理一个字节需要2次读和1次写基本思想：将C数组和T数组合并到一个数组中，将2次读操作合并为1次读操作。方法：使用较长宽度的字，每个字中保存C[i]和T[i]。比如，C[i]使用15比特，T[i]使用14比特。利用的硬件特性：使用硬件取出合并到一个字中的域是很简单的。*这是本课程的两个主要内容：了解基本的网络性能瓶颈，学习解决这些瓶颈的一组基本技术。