机器学习整理.docVIP

2、本书研究机器学习的思路是什么？学习的过程就是搜索的过程，搜索包含可能假设的空间，使得到的假设最符合已有的训练样例和其他先验的约束或知识。本书的大部分内容围绕着搜索各种假设空间（例如，包含数值函数，神经网络、决策树、符号规则的空间）的不同学习方法以及理论上这些搜索方法在什么条件下会收敛到最佳假设。 9、避免过度拟合的方法 a.及早停止树增长 解决方法 训练与验证集法可用数据分成两个样例集合：训练集合，形成学习到的假设;验证集合，评估这个假设在后续数据上的精度. 使用所有可用数据进行训练，但进行统计测试来估计扩展（或修剪）一个特定的节点是否有可能改善在训练集合外的实例上的性能。 使用一个明确的标准来衡量训练样例和决策树的复杂度，当这个编码的长度最小时停止树增长 b.后修剪法(post-prune) 修剪步骤： 删除以此节点为根的子树，使它成为叶结点 把和该节点关联的训练样例的最常见分类赋给它 反复修剪节点，每次总是选取那些删除后可以最大提高决策树在验证集合上的精度的节点 继续修剪，直到进一步的修剪是有害的为止 9、感知器训练法则（感知器法则、梯度下降法则、随机梯度下降法则） （1）感知器法则 单个感知器的学习任务，选择权向量 可以使感知器对于给定的训练样例输出正确的1或-1. 即在候选假设空间 中寻找符合训练样例的假设 h. （2）梯度下降法则 构造假设相对于训练样例的训练误差 梯度下降权值更新法则： 收敛条件：因为误差曲面仅包含一个全局的最小值，所以无论训练样例是否线性可分，算法都会收敛到具有最小误差的权向量，条件是使用足够小的学习速率 （3）随机梯度下降法则 权值更新： 10、标准梯度下降和随机梯度下降之间的关键区别 标准梯度下降是在权值更新前对所有样例汇总误差，而随机梯度下降的权值是通过考查每个训练样例来更新在标准梯度下降中，权值更新的每一步对多个样例求和，需要更多的计算标准梯度下降，由于使用真正的梯度，标准梯度下降对于每一次权值更新经常使用比随机梯度下降大的步长如果标准误差曲面有多个局部极小值，随机梯度下降有时可能避免陷入这些局部极小值中实践中，标准和随机梯度下降方法都被广泛应用 11、感知器法则和delta法则的关键差异 前者根据阈值化的感知器输出的误差更新权值，后者根据输入的非阈值化线性组合的误差来更新权值。这个差异带来不同的收敛特性 前者经过有限次的迭代收敛到一个能理想分类训练数据的假设，条件是训练样例线性可分，后者可能经过极长的时间，渐近收敛到最小误差假设，但无论训练样例是否线性可分都会收敛学习权向量的第3种方法是线性规划，但其扩展性差 12、了解反向传播算法 后（反）向传播算法是一种神经网络学习算法，又称逆推学习算法，简称BP算法。人工神经网络是一种模仿人脑处理信息的系统，先用样本数据训练神经网络时，它自动地将输出值与期望值进行比较，得到误差信号，再根据误差信号，从后向前调节各神经网络层神经元之间的连接强度，然后再进行运算，使误差减小，再将新的输出值与期望值进行比较，得到新的比先前小的误差信号，再根据较小的误差信号，从后向前重新调节各神经网络层神经元之间的连接强度，依此不断地多次进行，直到误差满足要求为止。 用来学习多层网络的权值 网络的误差定义公式 采用梯度下降方法试图最小化网络输出值和目标值之间的误差平方 13、极大后验概率假设 (maximum a posterior probability, MAP)即在给定数据D情况下，寻找H中可能性最大的假设h. 极大似然假设(maximum likelihood, ML)，p(D|h)为给定h时数据D的似数度，而是p(D|h)最大的假设。 14、贝叶斯问题 已知某人吸烟（S）,计算它患气管炎（T）的概率 即吸烟可引起气管炎的概率为0.2822 已知某人患气管炎（T），计算此人吸烟（S）的概率 即此人气管炎由吸烟导致的概率为0.4798 乘法公式: P(AB)=P(A)P(B/A) 贝叶斯公式: 联合概率:  15、实例的学习：只是简单地把训练样例存储起来，每当学习器遇到一个新的查询实例，它分析这个新实例与以前存储的实例的关系，并据此把一个目标函数值赋给新实例。 16、k-近邻算法、局部加权回归、径向基函数网络 ，并注意它们的差异？k-近邻假定实例对应于n维欧氏空间中的点，一个新查询的目标函数值是根据k个与其最近的训练样例的值估计得到。 局部加权回归法是k-近邻方法的推广，为每个查询实例建立一个明确的目标函数的局部逼近，逼近方法可以基于常数、线性函数、二次函数等这类简单的函数形式，也可以基于核函数。