1.什么是泛化能力.PDFVIP

1. 什么是泛化能力？ 基本术语-泛化能力 机器学习的目标是使得学到的模型能很好的适用于“新样本”, 而不仅仅是训练集合，我们称模型适用于新样本的能力为泛化 (generalization)能力。 通常假设样本空间中的样本服从一个未知分布 ,样本从这个分布中 独立获得，即“独立同分布”(i.i.d)。一般而言训练样本越多越有可 能通过学习获得强泛化能力的模型 2. 什么是归纳偏好以 及Occams Razor ？ 归纳偏好 学习过程中对某种类型假设的偏好称作归纳偏好 A or B? ？ 归纳偏好 归纳偏好可看作学习算法自身在一个可能很庞大的假 设空间中对假设进行选择的启发式或“价值观”. “奥卡姆剃刀”是一种常用的、自然科学研究中最基 本的原则，即“若有多个假设与观察一致，选最简单 的那个”. 具体的现实问题中，学习算法本身所做的假设是否成 立，也即算法的归纳偏好是否与问题本身匹配，大多