一种海量数据流应用并行优化模型.pdfVIP

2008年伞围高性能计算学术年会 一种海量数据流应用并行优化模型 孙小涓1孙凝晖!雷斌1 (1中国科学院电子学研究所北京1()0190) (2中国科学院计算技术研究所北京100190) conl) (s．xiaojuan2()1f)@gmail 摘要：计算进入了多核时代，处理器的发展不 再由更快的主频带动，而是依靠增加片上的多个 核o，但是，对于高性能应用来说，多核平台的 并行处理由于缺少适合的并行程序开发工具还处 于初始阶段，对应用的优化需要对底层线程结构 的深入了解和正确使用。文章从海量数据流应用 的特点出发，提出了三级流水多线程模型，它的 线程同步机制没有竞争，并且实现了不同特征数 据流的差别服务。接着，在遥感图像处理和骨干 网网络入侵检测系统设计中，应用了海量数据流 应用模型，并在多个多核平台下对后者进行了性 能评价、 薰薰|| 关键词：海量数据流 多核并行优化多线程 一一一～～一一一一～一～ 嚣淼竺然然一 模型 网络入侵检测 1 引 言1 AParallel Modelfor 随着多核计算机的发展，它提供给服务器大 Optimization MassiveDataStream 规模计算的能力，但是，硬件的大规模并发加大 Application SUN SUN Binl 了软件开发的同难。多核处理器的发展给应用程 Xiao-juanlNing—hui二LEI Institute ofSciences．序的开发带来了新挑战，它要求应用程序通过并 (1 ofElectronics，ChineseAcademy 100190，China) 行的多任务来执行。虽然一些典型的应用基准测 BeOing (2Instituteof Computing 试“，包括网络，数据库，密码等方面，已经证 Technology,Chinese of 100190，China) AcademySciences，BeOing 明在多核半台上具有很大的性能提高，但不是所 COll]) 有的已有应用都能很容易的获得在多核平台上的 (s．xiaojuan2010@ginail Abstract：Whileis anew 性能提高．． computingenteringphase inwhichCPU aredriventhe 海量数据流廊用具有数掂量大、大规模并行 improvementsby additionof coresona 和计算密集的特点，遥感图像处理系统和骨干网 multiple singlechip，rather than on 网络入侵检测系统都是海量数据流应用。遥感图 higherfrequencies．Parallel processing these is in a