龙星计划机器学习笔记讲述.docxVIP

龙星计划机器学习笔记 ? 　　前言 　　最近几周花了点时间学习了下今年暑假龙星计划的机器学习课程，具体的课程资料参考见附录。本课程选讲了写ML中的基本模型，同时还介绍了最近几年比较热门，比较新的算法，另外也将ML理论和实际问题结合了起来，比如将其应用在视觉上，web上的等。总之，虽然课程内容讲得不是特别细（毕竟只有那么几节课），但是内容还算比较新和比较全的。学完这些课后，收获还算不少的，至少了解到了自己哪方面的知识比较弱，下面是课程中做的一些简单笔记。 ? 　　第1课 ?绪论课 　　机器学习中3个比不可少的元素，数据，模型和算法。现在数据来源比较广泛，每天都可以产生T级以上的数据。模型的话就是机器学习课程中需要研究的各种模型，算法就是怎样通过数据和模型来学习出模型中的参数。但是余老师在课堂上提出一个观点就是这3个元素都不重要，最重要的是需求，一旦有了需求，就会采用各种方法取求解问题了。不愧是百度公司的技术副总监。另外机器学习的主要应用场合包括计算机视觉，语音识别，自然语音处理，搜索，推荐系统，无人驾驶，问答系统等。 ? 　　第2课 线性模型 　　线性回归模型需要解决下面3个问题： 　　1. 怎样从训练数据估计线性模型的参数？即截距和斜率。 　　2. 学习到的线性模型性能怎样？我们是否可以找到更好的模型？ 　　3. 模型中2个参数的重要性怎么估计？ 　　解决第1个问题是一个优化问题，即求得使损失函数最小的参数。这里的损失函数是平方项的，也称为线性最小二乘思想。线性模型的表达式为： 　　 　　其中噪声参数为0均值的高斯噪声。如果后面求出的噪声不是一个均值为0，方差相同的类似高斯分布的随机变量，则说明这个模型还可以被改进。比如说将x首先映射到非线性函数中去，然后对非线性函数用最小二乘法做线性回归。至于怎样得到非线性映射函数f(x)则要么通过人为观察推测，要么通过机器学习中的特征学习来自动获得。 　　更广义的线性模型并不一定是一个线性方程。只是其参数可能是线性的。线性模型能够模拟非线性函数。 　　残差可以看做是噪声的近似。但是一般来说残差要比噪声小。所以在线性模型中，噪声项就可以用残差来估计，不过其分母不是1/n,而是1/(n-p)，因为需要达一个无偏估计。 　　特征向量元素属性的重要性评价常见的有以下2种方法：第一是抽掉一个特征想，然后计算其残差变化值与全部特征都用上的比值，所得到的分数为F-score，F-score越大，说明该属性越重要。第2种方法是采用t分布来假设检验得到Z-score，即假设对应特征属性不存在(即其值为0)时，出现样本数据的概率为Z-score，如果Z-score越大，说明该属性越不重要。 ? 　　第3课 过拟合和规则项 　　Regularization中文意思是规则，指的是在overfitting和underfitting之间做平衡，通过限制参数空间来控制模型的复杂度。测试误差和训练误差之间差一个规则项，其公式为： 　　 　　模型越复杂说明模型越不稳定，学习到的目标函数越不光滑，也就越容易over-fitting。所以需要控制模型的复杂度，一般来说有2种方法，即减少模型中参数的个数或者减小参数的空间大小，目前用得最多的就是减小参数的空间大小，是通过规则项达到的。规则项的引入同时也需要引入一个调节的参数，该参数的大小一般通过交叉验证获得。如果规则项是2次的，则也称为ridge回归，规则项是一次的则称为lasso回归。Ridge回归的优点是解比较稳定，且允许参数的个数大于样本的个数。Lasson回归的优点是有稀疏解，不过解不一定稳定。 　　如果碰到参数个数大于样本个数，这时候就不能够用参数个数来做规则化了，而是采用缩小参数空间的方法，这样的话既在统计学上对特征数量集大时有鲁棒性，同时在数值计算上方程解也具备稳定性。 ? 　　第4课 线性分类器 　　很好的理解线性分类器，可以理解很多ml的概念，以及非线性问题。线性分类器是在实际应用过程中最有用的模型。 　　据余老师讲，从06年开始，人工神经网络又开始热起来了，主要体现在deep learning领域。 　　svm理论很完美,应用场合也很广,同理,logistic回归应用场合也非常广,和svm差不多。 　　当数据为大样本数据时，用线性SVM模型比较好。 ? 　　第5课 非线性svm 　　RKHS表示定理：即模型的参数是在训练样本的线性子空间中，是训练样本的线性组合。这不仅适用于svm，对其他的模型，比如感知机，RBF网络，LVQ，boosting，logistic回归等模型都成立。 　　Kernel可以简单理解为表示2个值相似度的测量。通过核函数可以更好的了解regularization。所需优化的目标函数可以写成参数形式，参数形式的对偶形式和非参数形式这3种。如