网络应用在商用多核体系上的并行化.pptVIP

网络应用在商用多核体系上的并行化 指导老师：郭燕 组员：王金雷、周岳峰、禹龙、 马旭光、陈龙 主要内容 项目背景 设计概要 无锁队列的研究 Libnids并行化 人员分工 结语 参考资料 背景概览 因特网是建在TCP/IP协议上的、万维网是建立在HTTP协议上的，现有的网络协议都是在单核上运行，无法充分利用多核的特点，根本达不到网络高速处理的要求。 使用多核技术对TCP/IP和HTTP等网络协议加速，尽可能的提高因特网和万维网的吞吐率，对网络应用产生促进作用。比如，对网络上的数据包进行详细的深层分析，从而可以应用于企业、银行、教育、医疗、政府的信息安全和数据防盗上。 构建基于多核平台的并行网络程序 利用通用多核处理器建立高速网络处理平台，实现网络程序并行化处理。 通过在多核平台上并行化已有的串行网络程序来达到利用多核结构的目的，而不是完全从头开始编写一个并行的网络程序。 实验平台为学院提供的多核处理器 设计概要： 设计概要 由于没有提供硬件级的fifo为了要达到核与核之间高速共享数据，设计了一种并发无锁的FIFO队列，实现相邻核之间的高效通信。 使用对称的hash函数对包进行分派。 尽可能消除全局变量以及程序中显示或隐式的锁操作。比如，采用预分配缓冲区的方法去除malloc()操作（从而消除隐含的锁操作）。 任务映射 无锁队列的研究 Lock_free fifo 性能分析 算法改进 性能对比 FIFO实现:Locking queue implementation FIFO实现:Lamport queue implementation FIFO实现：FastForward CLF Queue Slip maintenance 以上算法在初始化时运行。 如果阶段的处理时间呈现非零均值的波动，或者具有非均衡的阶段，则需要周期性地运行该算法进行调整。 FIFO实现：Read/Write aggregate Queue FIFO_ELEM tmp[ELEM_PER_CACHELINE] ; int enqueue_aggregate(FIFO_ELEM *data) { if (NULL != queue[head]) return FALSE ; tmp[current] = *data ; current++ ; if (current == ELEM_PER_CACHELINE) { memcpy(queue[head], tmp, sizeof(FIFO_ELEM) * ELEM_PER_CACHELINE) ; head = NEXT(head) ; current = 0 ; } return TRUE : } 虽然有效的避免了false sharing问题。 但是引入的tmp进行了多余的拷贝，访存操作。 FIFO实现:Align-shift queue implementation init_queue() { p = pre_malloc(QUEUE_SIZE * sizeof(FIFO_ELEM) + CACHE_LINE_SIZE - 1) ; if (! (p mod CACHE_LINE_SIZE)) queue = p + CACHE_LINE_SIZE - 1 ; else queue = p + CACHE_LINE_SIZE - 1 - p mod CACHE_LINE_SIZE ; return TRUE ; } 队列初始化，完成“对齐”工作。 FIFO实现:Align-shift queue implementation enqueue_align_shift(FIFO_ELEM *data) { if (count == ELEM_PER_CACHE_LINE queue[next(head)] != NULL) return FALSE ; if (count == ELEM_PER_CACHE_LINE) { head = NEXT(head); count = 1; } else count ++; if (count == ELEM_PER_CACHE_LINE ) queue[head] = data; else queue[head + count] = data; return TRUE ; } 交替的读写并且写入标记位 性能比较：Fast Forward VS R,W Aggregate VS Align Shift 性能比较：Fast Forward不同实现 性能比较:Optimized FastForward vs Align Shift L