基于映射-归约模型的SVM可扩展硬件实现架构.pdfVIP

第 16卷 第 5期 电路与系统学报 Vo1．16 NO．5 2011年 10月 JOURNALOFCIRCUITSAND SYSTEMS Oetober， 2011 文章编号 ：1007—0249(2011)05—0090—05 基于映射一归约模型的SVM可扩展硬件实现架构 曹葵康， 沈海斌 (浙江大学 超大规模集成电路设计研 究所 ，浙江 杭州 ，310027) 摘要 ：为了提高支持 向量机 (SVM)在嵌入环境中的适用性，提出了一种用于 SVM 训练和分类的可扩展硬件架 构，并基于FPGA平台测试了其性能。基于映射．归约 (MapReduce)模型分析提取出 SVM 算法中的并行性，并进一 步映射至多个并行处理单元。实验表明，该架构可基于定点运算单元有效地完成 SVM 训练和分类 ，并具有 良好的可 扩展性 。 关键词 z支持向量机；并行计算；映射一归约：现场可编程 门阵列 中图分类号 ：TP302．2 文献标识码 tA 1 引言 支持 向量机 (SupportVectorMachine，SVM)是基于统计学习理论的新一代机器学习方法 ¨J。它 在解决小样本、非线性及高维模式识别 问题 中表现出许多独特优势，是克服过学习和维数灾难等传统 困难的有效方法，可应用于文本分类、语音识别、图像识别等众多领域 J。 SVM虽然易于应用且性能优异，但其算法 比较复杂，计算量大 。虽然在通用平台上 SVM通常可 直接应用，但在嵌入式平台上，特别是对于某些有严格时间要求的应用，SVM 受性能的限制通常难 以 适用[3]。例如，当 SVM 被用于通信系统中作 白适应处理时 ，5J，必须根据训练信号反复在较短时间内 完成 SVM 分类器的训练 以快速跟踪信道变化，同时也需要快速地对新样本进行判决以满足带宽要求 。 因此有必要设计高效的专用 SVM 硬件 以满足嵌入式应用 中对性能和成本的要求 。 为此研究者近年来 已提出数种 SVM 硬件架构 娟]。但 目前这些硬件方案均缺乏足够的灵活性，难 以在性能和硬件面积之间进行折衷 以满足嵌入式环境中的设计约束 。如文献 [6，7]中的方案均采用了基 于全并行处理单元 (PE)阵列的结构，其 中PE的数量 由训练样本数决定，不能随意调整 。而文献[8] 中的SVM硬件则以串行方式工作，处理性能难以调节。此外，文献[6，8]中的方案所采用的SVM训练 算法需要存储核矩阵，不适合解决较大规模的 SVM 训练 问题，因为核矩阵的大小随训练样本的数量 旱平方增长。 受 目前流行的映射一归约 (MapReduce)模型在 FPGA，GPU等平台上成功应用的启发 J，本文提 出一种基于映射．归约模型的可扩展 SVM 硬件架构 以解决现有方案灵活性缺乏的问题 。本文首先介绍 SVM 训练和分类算法 以及映射一归约模型；然后基于映射一归约模型分析提取出其 中的并行性并将其映 射到多个并行处理单元从而得到可扩展硬件架构；最后通过实验评估该架构的有效性 以及可扩展性 。 2 SVM训练及分类算法 对于训练集 {(，Y)} (其中 ∈R 为输入 向量 ；Y∈{一1，l}为类别标签)，标准的软间隔 SVM 分 类器 (C．SVM)的训练 问题等价于 以下二次规划 (QP)问题 ： max (口)=∑日，一去∑∑a~ajyY(，，) ‘ ¨ (1) s．t．∑aY=0and0 af≤C，i=1，．．．，m 收稿 日期t2009-12-29 修订 日期：2011-02—05 基金项 目z国家 自然科学基金资助项 目 (60720106003) 第5期 曹葵康等：基于映射．归约模型的SVM可扩展硬件实现架构 91 其中ai是待优化的拉格朗日乘数，C是惩罚参数，k(x，，)是核函数。利用核函数可以把输入空间映射 到高维特征空间以解决非线性分类 问题。高斯径向基函数k(x，，)=exp(