一、课题研究背景和理论基础.pptVIP

使用优化SVR 模型进行组效研究 周培培 一、课题研究背景和理论基础 一、课题研究背景和理论基础 20世纪60年代 V. N. Vapnik等人开始究支持向量机。 随着机器学习理论不断发展和成熟，同时由于神经网络等机器学习模型的研究进展遇到阻碍，20世纪90年代，支持向量机的研究取得了突破性进展。 目前，支持向量机算法被认为是针对小样本统计估计和预测学习的最佳理论。 优点： 适用范围广、鲁棒性强、操作简单…… 一、课题研究背景和理论基础 支持向量分类机 SVC（support vector classification） 支持向量回归机SVR （support vector regression） 支持向量机 定量分析 定性分析 ε-SVR, ν-SVR 一、课题研究背景和理论基础 低维空间向高维空间映射 核函数 寻求最优超平面 。 一、课题研究背景和理论基础 参数的优化至关重要： 基于梯度下降的参数选择方法、 基于蚁群算法的参数选择方法、 基于网格的参数优化方法、 基于粒子群优化算法的参数选择方法、 基于遗传算法的参数优化方法、 基于基因表达式编程的参数优化方法。 …… 粒子群优化算法(Particle Swarm Optimization，PSO) 一、课题研究背景和理论基础 PSO源于对鸟群捕食行为的研究： 它是一种通过群体中粒子之间的合作与竞争产生的群体智能指导优化搜索方法。在 PSO 算法中，首先系统初始化为一组随机解，在迭代中搜寻最优值，在解空间中追随最优的粒子。每个粒子通过迭代过程中自身的最优值和群体的最优值来不断的修正自己的前进速度和方向，从而形成群体寻优的正反馈机制。 一、课题研究背景和理论基础 计算粒子适应度值 输入处理后数据 开始 设置粒子和 速度初始值 寻找个体机制和群体极值 N 满足结束条件 Y 个体极值和群体极值更新 更新速度和位置 计算粒子适应度值 得到优化参数 结束 二、模型构建和算法实现 二、模型构建和算法实现 参数寻优、模型建立、 结果预测、绘制图形、 保存数据、存储图形。 二、模型构建和算法实现 (1).Libsvm编译 在正式的模型设计和运行前，应当对libsvm进行编译。 Attention:安装时,把libsvm作为当前的工作目录,在后面使用时并将其加为工作目录(setpath…)。 在进行建模之前，对训练集和测试集进行归一化处理。本课题中采用的方法是： 经处理后，原始数据被规整到 [0,1]之间，便于以后的建模。 二、模型构建和算法实现 (2).数据预处理 程序代码如下： Q = csvread(filename.csv); [m,n]=size(Q); maxy=max(Q(:,n)); miny=min(Q(:,n)); for i = 1 : n temp = Q(:, i); temp = (temp-min(temp)) /(max(temp)-min(temp)); Q_scale(:, i) = temp; end 使用交叉验证（Cross Validation）的思想，采用其中最简单的Hold-Out方法把输入的数据随机分为两部分，一部分为作为训练集（约占70%），一部分作为测试集（约占30%）。此种方法简单方便。 二、模型构建和算法实现 (3).挑选训练集和测试集 程序代码如下： [train,test] = crossvalind(HoldOut,m,0.3); train_x = P(train,:); train_y = T(train,:); test_x = P(test,:); test_y = T(test,:); 此程序调用libsvm工具箱中的psoSVMcgForRegress.m，直接对C,g优化。 为了评价参数C、和参数g的优劣，使用训练集作为训练和预测数据，选取计算预测结果的均方误差（MSE）作为适应度函数，每个粒子都包含一个C值和一个g值，个体通过适应度函数计算适应度值，PSO通过不断的迭代、比较、寻优，不断的更新群体，从而寻找到最优的惩罚参数C、精度。 在参数优化过程中，采用了交叉验证的K-fold方法。 二、模型构建和算法实现 (4). PSO优化参数 程序代码如下： pso_option.c2 = 1.7; pso_option.maxgen = 200; pso_option.sizepop = 20; pso_option.k = 0.6; pso_option.wV = 1; pso_option.wP = 1; pso_option.v = 5; pso_option.popcmax = 100;