数据挖掘中的SVM.pptVIP

Platt - Fast Training 数据挖掘中的SVM oneroad@smth 2003.12 什么是数据挖掘 数据挖掘（Data Mining）就是从观测到的数据集（经常是很庞大的），抽取出潜在的、有价值的信息1 数据集：传统的数据库，数据仓库，Web 三大学科的交叉： 机器学习 统计学 数据库技术 数据挖掘的图示 数据挖掘的主要任务 分类 Classification 银行客户关系分类 预测 Prediction 股票趋势预测，GDP预测 关联规则 Association Rules 购物篮分析（60％买面包的人会买黄油） 聚类 Clustering 金融欺诈行为检测 数据挖掘中的ML方法 人工神经网络 Neural Networks 决策树 Decision Trees 规则归纳 Rule Induction 最近邻方法 Nearest Neighbor Method 遗传算法 Genetic Algorithms 支持向量机 Support Vector Machines 粗糙集 Rough Set 贝叶斯信念网 Bayesian Belief Networks 模糊逻辑 Fuzzy Logic SVM在DM中的使用情况 DM的门户网站KDnuggets在2003年的一项名为 “What data mining techniques you use regularly? ” 的调查结果中，把SVM称为 “the biggest gainer” 它占到了11％的使用率 SVM在DM中的应用 Drug Design R.Burbidge,M.Trotter,B.Buxton and S.Holden(2001)Drug Design by Machine Learning:Support Vector Machines for Pharmaceutical Data Analysis Bioinformatics Paul Bertone(2001) Integrative Data Mining:The New Direction in Bioinformatics Travel Time Prediction Chun-Hsin Wu,Chia-Chen,Da-Chun,and Ming-Hua Chang (2003)Travel Time Prediction with Support Vector Regression. Intrusion Detection Srinivas Mukkamala, Guadalupe Janoski, Andrew H. Sung. (2002) Intrusion Detection Using Support Vector Machines. 数据挖掘的特点 最大的特点：海量数据集 美国零售商沃尔玛每天大约2千万笔的交易，一年的客户交易数据库容量超过11TB ATT公司，1亿电话用户，每天3亿次的呼叫特征数据 美国宇航局NASA的地球观测系统每小时生成几个GB的原始数据 人类基因工程中超过3.3×109个核苷酸的数据库 其它特点：较高维度，有噪声，属性值缺失 带来的问题 传统的统计方法没法应用 经典的ML方法的使用会受制于计算机硬件 过度拟合（Overfitting）的频现 维度灾难（Curse of Dimensionality） 分布式存储带来的数据访问困难 分析时间太长，影响后期的实时决策效果 SVM在DM中的优势和不足 优势： 最大间隔的思想－更好的泛化能力，有助于解决过度拟合 核函数－解决非线性问题的同时避免维度灾难 二次优化－存在唯一解，并且可以找到全局最优 稀疏性－支持向量个数相对数据集小得多，易于存储 不足： 运算效率低 计算时占用资源过大 大规模数据下的SVM SVM的核心在于求解一个QP问题 原始问题： 等价问题形式： 庞大的核函数矩阵Q Q是一个L×L的矩阵,且不稀疏 Q在寻优计算中要经常调用 带来的问题 Q无法在内存中存储 实时计算Q，带来效率低下 Q太大，使得矩阵运算很耗时 分解算法（ Decomposition) 思想： 将大型的二次规划问题（QP问题）分成若干个小的QP问题，也就是每次抽取一个小的工作集（Working Set）来做QP，从而解决内存不够的问题 Chunking Boser,Vapnik 1992 思想： 去掉非SV的（αi＝0）样本，不影响解 缺陷： 当模型不稀疏的时候（SVs很多）的时候，Data Set会越来越大，以至于无法计算 Chunking with Fixed-size Work Set