第一章网络算法学概述.pptVIP

使用长周期的清洗循环清理C 改进方法： 芯片需要两个状态，scrub和normal。每当扫描完一个URL，芯片切换到scrub状态。 另外维护一个寄存器，指向下一个要清洗的表项s。 在scrub状态，每当收到一个非URL字节，读入表项s，如果G[s] ≠ g，设置G[s] = g 和 C[s]=0。 网络算法学的特性 网络算法学是跨学科的 跨学科的思维有助于产生出最好的设计 网络算法学肯定系统思维的重要性 放宽要求和将工作从一个子系统迁移到另一个子系统是极其常见的系统技术 “黑盒思维”不利于产生出整体或系统思维 网络算法学从算法思维中获益 算法思维也是重要的，但应注意不可盲目地重用已有的算法。 网络算法学的确切定义 网络算法学是运用跨学科的、系统的方法加上算法思维，为服务器、路由器和其它网络设备上的网络处理任务设计快速的实现。 * 这是本课程的两个主要内容：了解基本的网络性能瓶颈，学习解决这些瓶颈的一组基本技术。 * 第一章 网络算法学概述 什么是网络算法学？ 网络算法学： 采用跨学科的、系统的方法组织网络实现 网络算法学是一种跨学科的方法： 包括体系结构、操作系统、硬件设计、算法设计等领域。 网络算法学是一种系统的方法： 将网络设备看成是一个系统，其功能可在不同的子系统间迁移，以达到提高网络设备性能的目的。 网络算法学要解决什么问题？ 网络算法学要解决基本的网络性能瓶颈。 网络算法学提倡的方案是解决这些瓶颈的一组基本技术。 网络设备的两种基本类型 端节点： 网络终端，包括PC机、工作站、服务器等 针对通用计算而设计 运行全功能的操作系统 路由器： 代表一类通用的网络互联设备，包括网桥、交换机、网关等。 网络专用设备 运行一个很轻量级的OS，以及一个完全由硬件实现的转发路径。 端节点性能瓶颈的产生 结构化： 软件分层：OS按照分层原则组织 保护机制：OS都实现了一组保护机制 过度一般化：核心例程使用一般机制完成 规模： 许多OS使用只能支持少量连接的低效算法和数据结构 主要性能瓶颈： 数据拷贝，上下文切换，系统调用，中断处理，定时器管理，协议解复用，协议处理 路由器性能瓶颈的产生 规模： Bandwidth scaling：链路速度和网络流量不断提高 Population scaling：因特网规模不断增大 服务： 为网络应用提供服务质量、安全性和可靠性保证 主要性能瓶颈： 查表，包分类，交换，排队，测量，安全检查 解决瓶颈的技术：网络算法学 网络设备是包括硬件和软件的复杂系统，系统的各个部分不是孤立的 通常可以通过在时间及空间上移动一个子系统中的某些功能来设计出高效的子系统： 某些功能可以移到其它子系统中实现 某些功能可以移到需要它的时间之前实现，或者推迟实现 一个热身的例子：检测异常URL的硬件 应用背景：检测利用HTTP报文中的URL域实施的内存溢出攻击。 提取攻击特征：URL很长，且字符出现比例异常。 设计要求：要求芯片设计师设计一个硬件，对包含可疑URL的包进行标记。 朴素的解决方案 维护两个长度为256的数组 T 和 C ： 数组T：保存正常的URL中各个字符出现比例的上限 数组C：统计各个字符在当前URL中出现的次数 每当开始一个新的数据包时，对数组C清零。 确定URL的起始位置后： 每读入一个字符 “ i ”，C[i]加1。 扫描到URL终结符时，得到URL的长度L。 遍历T和C： 对于任何一个“j”，如果C[j] ≥ L* T[j]，标记该分组。 算法分析 线速处理：一个分组必须在下一个分组到来之前处理完。 假定C[i]加1可以在每个字节到来的时间内完成。 算法对数组有两次遍历： 新的数据包开始时，初始化C为零。 扫描完URL后，检查各个字符的出现比例是否超限。 两次遍历至少需要768次读/写操作： C数组读、写各一次 T数组读一次 算法优化：取消URL结束后的遍历 直观上，扫描完URL后检查每个字符的出现比例是不必要的。 基本思想：只跟踪最高的相对出现次数。 算法优化：取消URL结束后的遍历 基本思想：只跟踪最高的相对出现次数 方法： 使用一个寄存器记录到目前为止最高的相对出现次数：Max = max{C[i]/T[i]} 每读入一个新字符 “ i ”， C[i]加1 若C[i]/T[i]Max, Max= C[i]/T[i] URL扫描结束后，若Max≥ L，标记分组。 问题和分析 Q：除法逻辑比较复杂，能否避免除法运算？ 问题和分析 Q：除法逻辑比较复杂，能否避免除法运算？ A：若除数为2-k，除法可以用移位实现 问题和分析 Q：除法逻辑比较复杂，能否避免除法运算？ A：若除数为2-k，除法可以用移位实现 Q：T[i]不一定是2-k A：？？