神经网络作业使用BPRBFSVM进行函数拟合和分类介绍.docx

神经网络 PAGE45 / NUMPAGES46 神经网络作业  作业说明 第一题（函数逼近）：BP网络和RBF网络均是自己编写的算法实现。BP网络均采用的三层网络：输入层（1个变量）、隐层神经元、输出层（1个变量）。转移函数均为sigmoid函数，所以没有做特别说明。在第1小题中贴出了BP和RBF的Matlab代码，后面的就没有再贴出；而SVM部分由于没有自己编写，所以没有贴出。而针对其所做的各种优化或测试，都在此代码的基础上进行，相应参数的命名方式也没有再改变。RBF网络使用了聚类法和梯度法两种来实现。而对于SVM网络，在后面两题的分类应用中都是自己编写的算法实现，但在本题应用于函数逼近时，发现效果很差，所以后来从网上下载到一个SVM工具包LS-SVMlab1.5aw，调用里面集成化的函数来实现的，在本题函数逼近中均都是采用高斯核函数来测试的。 第二题（分类）：BP网络和RBF网络都是使用的Matlab自带的神经网络工具包来实现的，不再贴出代码部分。而SVM网络则是使用的课上所教的算法来实现的，分别测试了多项式核函数和高斯核函数两种实现方法，给出了相应的Matlab代码实现部分。 第三题：由于问题相对简单，所以就没有再使用Matlab进行编程实现，而是直接进行的计算。 程序中考虑到MATLAB处理程序的特性，尽可能地将所有的循环都转换成了矩阵运算，大大加快了程序的运行速度。编写时出现了很多错误，常见的如矩阵运算维数不匹配，索引值超出向量大小等；有时候用了很麻烦的运算来实现了后来才知道原来可以直接调用Matlab里面的库函数来实现以及怎么将结果更清晰更完整的展现出来等等。通过自己编写算法来实现各个网络，一来提升了我对各个网络的理解程度，二来使我熟悉了Matlab环境下的编程。 函数拟合（分别使用BP，RBF，SVM），要求比较三个网络。 解：（1） BP网络： Matlab代码如下： nv=10; %神经元个数：10个 err=0.001; %误差阈值 J=1; %误差初始值 N=1; %迭代次数 u=0.2; %学习率 wj=rand(1,nv); %输入层到隐层神经元的权值初始化 wk=rand(1,nv); %隐层神经元到输出层的权值初始化 xtrain=1:4:100; %训练集，25个样本 xtest=1:1:100; %测试集，100个 dtrain=1./xtrain; %目标输出向量，即教师 %训练过程 while(Jerr)(N100000) uj=wj*xtrain; h=1./(1+exp(-uj)); %训练集隐层神经元输出 uk=wk*h; y=1./(1+exp(-uk)); %训练集输出层实际输出 delta_wk = u*(dtrain-y).*y.*(1-y)*h; %权值调整 delta_wj = u*wk.*(((dtrain-y).*y.*(1-y).*xtrain)*(h.*(1-h))); wk = wk+delta_wk; wj = wj+delta_wj; J=0.5*sum((dtrain-y).^2); %误差计算 j(N)=J; N=N+1; end %测试及显示 uj=wj*xtest; h=1./(1+exp(-uj)); uk=wk*h; dtest=1./(1+exp(-uk)); figure subplot(1,2,1),plot(xtest,dtest,ro,xtest,1./xtest); legend(y=1/x, network output); subplot(1,2,2),plot(xtest,1./xtest-dtest); x=1:N-1; figure plot(x,j(x)); 运行条件：10个神经元，误差迭代阈值为0.001.学习率为0.2。隐层和输出层都采用了sigmoid函数。25个训练集，100个测试集。批处理方式。 其中一次的运行结果：运行时间为0.340742s.迭代了5980次。（