基于递归神经网络与LS-SVM 硬件实现与实验研究.docVIP

基于递归神经网络的LS-SVM硬件实现与实验研究* 与信息工程学院西安710048) 摘　要：在标准支持向量机(SVM)学习神经网络的基础上将最小二乘支持向量机(LS-SVM)与递归神经网络相结合提出一种新的最小二乘支持向量机学习神经网络该网络直接采用Lagrange乘子进行训练消除了标准SVM神经网络中的线性部分可用于进行分类和回归学习并且其拓扑结构更适合于用简单的硬件模拟电路实现对两种网络的稳定性进行了证明并设计了相应的硬件电路最后通过Simulink和硬件电路实验证明了所提出的方法是有效的递归神经网络；模拟电路 TP183　　文献标识码：A　　国家标准学科分类代码：510.2040 Hardware implementation and experiment research of least square supportvector machine based on recurrent neural network Liu Han, Ye Ping (School of Automation and Information Engineering, Xi’an University of Technology, Xi’an 710048, China) Abstract：A new neural network for least squares support vector machines (LS-SVM) that combines LS-SVM with recurrent neural network is presented, based on standard SVM learning network. The network is trained using Lagrange multiplier directly, which can eliminate the nonlinear parts of the neural network of standard SVM. The presented network can be used for classification and regression learning, whose topology adapts to analog circuit implementation easily. The stabilities of two kinds of neural networks are also proven and corresponding?analog circuits are proposed in the paper. The results of Simulink and Pspice simulations and hardware circuit experiments all illustrate the effectiveness of the proposed neural networks. Key words：LS-SVM; recurrent neural network; analog circuit 1　引　　言 支持向量机(support vector machines, SVM)采用结构风险最小化的思想和方法，具有良好的推广能力、极低的分类和逼近误差、数学上的易处理性和简洁的几何解释等优点，已被广泛作为一种分类和回归的工具[1]。目前对支持向量机的研究主要集中在理论研究和算法的优化方面。与之相比，其应用研究和算法实现的研究相对较少，目前只有较为有限的实验研究报道。同时这些算法大多只能用计算机软件来实现，而不适合于模拟硬件的实现，大大地限制了SVM在实际中的应用[2]。 在许多工程和应用领域中，往往需要用SVM对数据进行实时处理，因此对SVM进行并行和分布式的训练是十分必要[3]。最近几年，神经网络方法已经在优化问题上展现了它的巨大前景，大量的研究结果表明它与传统的优化算法相比在实时运用上有着更多的优势[4]。如果能把SVM和神经网络的优点结合起来，就可以得到一种新的SVM神经网络，通过各取所长得到更好的性能。同时考虑到神经网络易于采用模拟硬件来实现，这样不但可以大幅度地提高SVM的训练速度，而且还可为支持向量机的实际应用提供了新的思路。 标准支持向量机训练问题实质上是求解一个二次规划问题，而最小二乘支持向量机(least squares SVM, LS-SVM)采用等式约束，将原问题转化为线性方程，简化了计算的复杂性，并且算法易实现，收敛速度快[5]。最早的适合于VLSI实现的SVM神经网络学习电路出现在文献[6]中，该文献采用Chua递归网络来解决受约束的二次规划问题，但是它要达到精确解，其惩罚