机器学习.03.下.pdfVIP

机器学习第三讲 （下） 有指导学习的一般原理 卢志茂  学习模型的选择（1 ）  布尔函数的输入 每个输入为二元值 对于 d 个样本的输入，会有 2d 种情况，对应个 2d 不同 的问题 输出的标记可以是1 ，也可以是0 ，对于d 个样本的输入， 可以有个 布尔函数 例如有两个输入：x , x 1 2  学习模型的选择（2 ）  布尔函数的输入 随着每个样本的输入，都会排除掉一般的假设 例如，输入x1 = 0, x2 = 1 输出为 0 为了得到单个假设，需要有 2d 个样本 实际情况，能拿到的样本只是一个 2d 个样本的小子集  学习模型的选择（3 ）  不适定问题ill-posed problem N个样本的输入 还有 个可能的布尔函数 无法确定 得不到得不到 唯一解唯一解 分类、回归等实际任务都会有这样的问题 样本越多，对潜在的布尔函数就会了解越多 实际情况，能拿到的样本只是一个2d 个样本的小子集  学习模型的选择（4 ）  归纳偏倚inductive bias 现有数据量不足以找到 唯一解 对策 ：猜测 或者 假设 为了是学习成为可能所做的假设集合称为 归纳偏倚  学习模型的选择（5 ）  归纳偏倚inductive bias 特定的假设类对应着特定的机器学习模型 不同的模型都不同的学习能力，只能学习确定的函数 复杂的模型学习能力也更大，问题是需要多复杂的函数  模型选择 model selection 在众多可能的假设类中选择正确的 不是复制训练数据，而是为了更好的预测 考核的指标是 泛化  学习模型的选择（6 ）  欠拟合 underfitting 为了获得好的泛化能力 要求使假设的复杂性与潜在数据的函数复杂性相匹配 对于复杂性比潜在函数复杂性低的假设，称之为欠拟合 如果复杂性提高，训练和确认的误差都会降低如果复杂性提高，训练和确认的误差都会降低  过拟合 overfitting 对于复杂性比潜在函数复杂性高的假设，称之为过拟合 过分拟合反而失去了好的预测能力，例如噪声 增加训练样本，但改善有限  学习模型的选择（7 ）  欠拟合与过拟合  学习模型的选择（8 ）  训练规模与模型复杂性的关系  一般情况下，增大训练规模，预测误差会降低  随着模型复杂性的增加，预测误差先降低后增加  增加训练样本的规模，只能带来有限的改善  适当降低复杂性是聪明的想法  不同的训练样本训练的模型泛化能力也不会一样  学习模型的选择（9 ）  训练的方法  对模型泛化能力的检验  从训练集中抽取一部分作为验证集 validation set  从可能的假设类集合从可能的假设类集合 ((多个假设类多个假设类) ) 找到更好的假设找到更好的假设 hh ∈∈ HH i i