基于改进遗传算法的SVM参数优化研究.ppt

基于改进遗传算法的SVM参数优化研究 计算机学院 张YY 2011年 基本思想 针对传统遗传算法的支持向量机参数选择方法易陷入局部极小点，导致过拟合或欠学习的问题，从而提出一种基于改进遗传算法的支持向量机参数选择方法。该方法在遗传算法初始化群体阶段采用加权深度优先搜索机制，克服了遗传算法局部搜索能力差的缺点，对支持向量机的径向基核参数进行优化，找出了具有较强推广能力的径向基核参数。将该算法用于3个基准数据集的仿真实验。结果表明该方法在保证分类精度前提下，大幅度缩短了训练建模时间，提高了运行效率。 简 述 SVM概述 IGA_SVM模型流程图 IGA_SVM算法具体步骤 IGA_SVM算法步骤1 实验环境及数据 实验结果与分析 实验结果与分析 * * * * * * LOGO 1 引 言 支持向量机 本文内容 基于改进遗传算法的SVM参数优化研究 支持向量机是Vapnik等人在是20世纪70年代提出的一种基于统计学习理论和结构风险最小化原理的新型机器学习算法，作为一种新兴的学习机器，支持向量机也存在许多不完善的地方，其参数选取便是亟待完善的问题之一。遗传算法在20世纪60年代末期由美国Johland等提出，在自动控制、组合优化、机器学习和图像处领域得到广泛的应用。但是遗传算法初始群体规模对遗传算法的收敛具有重要意义，传统方法采用随机化产生法，常易陷入局部极小点，导致过拟合或欠学习而难以求得满意的结果。 本文针对传统初始群体产生方法易产生局部最小值问题，提出一种将加权深度优先搜索(WeightedDeepth—first Search，WDFS)引入到遗传算法，来保证初始群体的多样性，并将其引入到SVM参数寻优方法的过程中，产生一种强大的启发式全局快速参数寻优算法一IGA_SVM，对3个基据集进行仿真实验，来验证其有效性。 1 引 言 判决函数： 惩罚因子C，用于控制复杂度和逼近误差的折中； 径向基核函数的σ值对分类精度有重要影响。 以测试样本集数据的识别率（RR）为评价标准： SVM概述 分类原理 模型参数影响分析 模型的 评估 2 SVM概述 支持向量机参数编码 加权深度产生初始种群 适应度函数计算 寻优是 否停止 选择、变异、交叉 生成新的一代 得到最优SVM预测结果 是 否 f（x） SVM模型 f（x）为适应度函数 x为SVM参数 3 IGA_SVM模型 Step1：初始种群的产生。 Step2：利用该初始种群利用SVM模型对训练集进行训练，由训练好的模型对测试数据集进行测试，将总体测试样本识辩率(RR)折算成该模型的GA适应度。 Step3：根据GA适应度。对a进行选择、变异以及交叉等操作，选择产生下一代参数a种群。 Step4：利用得到的子代参数a种群，重新对SVM模型进行训练和测试，计算适应度；如果满足GA训练停止准则，则转步骤step5，否则，返回step3。 Step5：结束训练，此时得到的参数(c，σ）为最终SVM模型的参数。 具体步骤 3 IGA_SVM模型 初始种群的产生 (a)若初始种群的大小为PopSize，则为种群中每一个个体赋一权值； 找到符合群体规模要求的染色体数目 (b)对节点进行深度优先搜索时，按照节点权值的大小，采用轮盘赌选择法选择某一个节点； (c)如果找到一条满足要求的路径，则选择该路径作为初始种群的一个染色体，同时路径上所有的边的权值减1； (d)重复步骤（b）、（c） 3 IGA_SVM模型 参比模型 LIBSVM GA_SVM(基于标准遗传算法的SVM) PSO_SVM(基于粒子群的SVM) 过 程 采取十折交叉确认方法； 将每个数据集随机等分成10个子集 做10次试验，取平均RR的百分比值来评价模型性能 控制参数设置 群体规模：500；最大进化代数：1000 交叉概率：0.8；变异概率：0.05 参数的优化区间：c[1，10000]，σ[0.01，50] 数据集 .tw/~cjlin／LIBSVMtools/datasets中的3个经典分类数据：a2a、diabetes、wla。 4 仿真实验 数据名称 训练样本数量 测试集样本数量 LIBSVM GA_SVM PSO_SVM IGA_SVM a2a 2265 30296 82.839 84.427 82.839 85.145 diabetes 300 468 76.823 79.915 78.846 80.872 wla 2477 47272 97.039 97.371 97.722 98.674 4 仿真实验 a2a diabetes wla 对于a2a数据集，LIBSVM和PSOSVM的RR相差不大，IGASVM和GA_SVM优于两