第一章 网络算法学概述.pptVIP

第一章 网络算法学概述 什么是网络算法学？ 网络算法学： 采用跨学科的系统方法组织网络实现。 网络算法学是一种跨学科的方法： 包括体系结构、操作系统、硬件设计、算法设计等领域。 网络算法学是一种系统方法： 将网络设备看成是一个系统，一些功能可在不同的子系统间迁移，达到提高网络设备性能的目的。 网络算法学要解决什么问题？ 网络算法学要解决基本的网络性能瓶颈。 网络算法学提倡的方案是解决这些瓶颈的一组基本技术。 网络设备的两种基本类型 端系统： 网络终端，包括PC机、工作站、服务器等 针对通用计算而设计 运行全功能的操作系统 路由器： 代表一类通用的网络互联设备，包括网桥、交换机、网关等。 网络专用设备 运行一个很轻量级的OS，以及一个清晰隔离的、完全由硬件实现的转发路径。 IP路由器的一般结构 端系统性能瓶颈的产生 结构化： 软件分层：OS按照分层原则组织 保护机制：OS都实现了一组保护机制 过度一般化：核心例程使用一般机制完成 规模： 许多OS使用只能支持少量连接的低效算法和数据结构 主要性能瓶颈： 数据拷贝，上下文切换，系统调用，定时器，解复用，校验码计算，协议处理 路由器性能瓶颈的产生 规模： Bandwidth scaling：链路速度和网络流量不断提高 Population scaling：因特网规模不断增大 服务： 为网络应用提供服务质量、安全性和可靠性保证 主要性能瓶颈： 精确查找，前缀查找，包分类，交换，公平排队，流量测量，安全检查 解决瓶颈的技术：网络算法学 网络设备是一个系统，它由多个在不同时间点上实例化的子系统互联而成。 通常可以通过在时间及空间上移动一个子系统中的某些功能来设计出高效的子系统： 某些功能可以移到其它子系统中实现 可将功能移到需要该功能的时间之前或之后 基于交换的路由器架构 控制卡、线卡和转发引擎卡通过一个高速交换结构连接： 每块线卡包含多个网络接口 每块转发引擎卡包含路由缓存，负责包头处理与转发 控制卡提供基本的管理功能。 一个热身的例子：检测异常URL的硬件 应用背景：检测利用HTTP消息中的URL域实施的内存溢出攻击。 提取攻击特征：URL很长，且字符出现比例异常。 设计要求：要求芯片设计师设计一个硬件，对包含可疑URL的包进行标记。 朴素的解决方案 维护两个长度为256的数组 T 和 C ： 数组T：保存正常的URL中各个字符出现比例的上限 数组C：统计各个字符在当前URL中出现的次数 每当开始一个新的数据包时，对数组C清零。 找到URL的起始位置后： 每读入一个字符 “ i ”，C[i]加1。 扫描到URL终结符时，得到URL的长度L。 遍历T和C： 对于任何一个“j”，如果C[j] ≥ L* T[j]，标记该分组。 算法分析 线速处理：一个分组必须在下一个分组到来之前处理完。 假定C[i]加1可以在每个字节到来的时间内完成。 算法对数组C有两次额外的遍历： 新的数据包开始时，初始化C为零。 扫描完URL后，检查各个字符的出现比例是否超限。 两次遍历至少需要768次读/写操作： C数组读、写各一次 T数组读一次 算法优化：取消URL结束后的遍历 基本思想：只跟踪最高的相对出现次数。 方法： 使用一个寄存器维护到目前为止最高的相对出现次数：Max = max{C[i]/T[i]}。 每读入一个新字符 “ i ”， C[i]加1 若C[i]/T[i]Max, Max= C[i]/T[i]。 URL扫描结束后，若Max≥ L，标记分组。 问题：除法逻辑比较复杂，能否避免除法运算？ 利用硬件特性：消除除法运算 问题：除法逻辑比较复杂，能否避免除法运算？ 放宽假设：对于每个T[i]，用不大于T[i]的近似值（1/2k）表示。 利用硬件特性：消除除法运算 问题：除法逻辑比较复杂，能否避免除法运算？ 放宽假设：对于每个T[i]，用不大于T[i]的近似值（1/2k）表示。 改进后的处理过程： T[i]中存放移位的次数。 读入新字符“I”后： C[i]加1 左移T[i]位 若移位后的值大于Max, 更新Max。 当URL扫描结束后，如果Max≥ L，标记分组。 问题：每处理一个字节需要2次读和1次写，能否减少？ 利用硬件：合并对T和C的读操作 问题：每处理一个字节需要2次读和1次写，能否减少？ 基本思想：将C数组和T数组合并到一个数组中，将2次读操作合并为1次读操作。 利用硬件：合并对T和C的读操作 问题：每处理一个字节需要2次读和1次写，能否减少？ 基本思想：将C数组和T数组合并到一个数组中，将2次读操作合并为1次读操作。 方法： 使用较长宽度的字，每个字中保存C[i]和T[i]。 比如，C[i]使用15比特，T[i]使用14比特。 可行性：使用硬件取出合并