大数据挖掘与统计机器 电子讲义.pptxVIP

大数据挖掘与统计机器学习;主要参考书 Hastie, Tibshirani, Friedman (2008), The Elements of Statistical Learning – Data Mining, Inference and Prediction, Second Edition, Springer James, Witten, Hastie and Tibshirani (2013), An Introduction to Statistical Learning with Applications in R, Springer Hastie, Tibshirani, and Wainwright (2015), Statistical Learning with Sparsity – The Lasso and Generalizations, CRC Press ;3;十个基本问题 （1）要回答的问题 （2）数据收集 （3）数据的含义 （4）相关性 （5）问题的转化 （6）可比性：数据变换 （7）可视化 （8）随机性：数据的代表性、结果的不确定性 （9）稳定性：结果的可解释性、可重复性 （10）结果验证;第2章 线性回归方法;6;7;8;9;10;2.3 Lasso模型的求解与理论性质 2.3.1 解Lasso Lasso问题是一个凸优化问题,是一个平方损失加凸惩罚的优化问题。 单变量Lasso 目标函数: 解析解: 其中, ;12;13;14; 2.3.3 SCAD回归与Oracle性质 Fan and Li(2001)从惩罚函数的角度出发,认为一个好的惩罚函数应使得模型中的解具有以下三个理论性质: (1)无偏性:当未知参数真值较大时,估计值应该几乎无偏。 (2)稀疏性:有某个阈值准则自动将较小的估计系数降至0,以降低模型复杂度。 (3)连续性:为避免模型在预测时的不稳定性,估计值应该是最小二乘估计值的某种连续函数。;16;17;18;2.4.2 最小一乘回归与分位回归;2.4.3 其他罚函数 Grouped Lasso 弹性网惩罚 ;第3章 线性分类方法; 3.1.2 评价准则 混淆矩阵、准确率、召回率。;23;24;3.2.3 正则化的Logistic回归 变量选择 普通逐步回归 L1正规化逻辑回归模型(Lasso-LR) ;26;27; 3.3.2 二次判别函数和正则化判别函数 假设各个类别的 不相等,关于x的二次项保留在公式中。我们得到的二次判别函数(quadratic discriminant analysis,QDA)为: Friedman(1989)提出一个将LDA和QDA结合的方法,假定将QDA不同类别不同的方差压缩到和LDA相同的方差。这和上一部分介绍的压缩方法相似。具体来讲,正则化的方差协方差矩阵有如下形式: 式中, 是LDA中假定的统一的方差; 表示一系列介于LDA和QDA之间的模型,实际应用中,使用下一部分将要介绍的交叉验证等方法估计。;29;30;31;第4章 模型评价与选择;模型复杂度与模??预测误差之间的关系: 随着模型复杂度的增加,测试误差先下降,后升高(此时模型过拟合),不论是欠拟合还是过拟合,模型推广预测的能力都差。因此存在一个中等复杂度的模型使得期望测试误差达到最小,我们的目标就是找到这个最优模型。 ;34;35;36;37;38; 4.2.2 AIC准则 AIC与 近似但应用更广泛,它是基于负对数似然损失的。它的一般公式是: 　　 与 相比,上式等号右边第一项是负对数似然损失,第二项是对模型参数个数(模型复杂度)的惩罚。 使用AIC选择模型,我们选取AIC取值最小的那个,对于非线性或者更复杂的模型,要用衡量模型复杂度的值代替p。; 4.2.3 BIC准则 BIC准则与AIC相似,都是用于最大化似然函数的拟合。BIC的一般公式为: 　　 式中,L是似然函数; 是参数 的最大似然估计量;p是参数的个数。 BIC统计量乘以1/2也叫做施瓦兹准则。 可以看出BIC与AIC非常类似,只是把AIC中的2换成了 。当 时,BIC对复杂模型的惩罚更大,更倾向于选取简单的模型。 使用BIC选择模型,我们选取BIC取值最小的那个模型。;41;42;43;44;45;46;五、决策树与组合方法;;二分类示意;;;需要说明的一些问题 1.二叉树还是多叉树 2.自变量的进一步处理 3. 其他的决策树算法 4.决策树的一??问题;53;;; 5.2.4 讨论 Bagging算法在基预测器不稳定的情况下很有用,而当基预测器稳定时,Ba