机器学习发展历程汇总.pptVIP

* 定理：如果一个概念是弱可学习的，充要条件是它是强可学习的 这个定理证明是构造性的，派生了弱分类器的概念，即，比随机猜想稍好的分类器 这个定理说明： 多个弱分类器可以集成为一个强分类器 1990年，Schapire证明了一个关键定理，由此，奠定了集成机器学习的理论基础 集成机器学习的研究还存在着大量未解决的问题，关于泛化能力的估计(不等式)还存在问题 目前，这类机器学习的理论研究主要是观察与积累，大量的现象还不能解释 * 最早的符号机器学习： Solomonoff的文法归纳方法(1959) 符号机器学习的主流： Samuel限制机器学习在结构化符号数据集合上(1967)，约简算法。 Gold证明，这是不可能的实现的(1967)。 值得注意的动向： 文法归纳方法引起人们的重视。 Hebb路线：每个规则可以理解为一个弱分类器。 符号机器学习不同于统计机器学习，划分样本集合的等价关系是学习所得，符号机器学习是事先定义等价关系，学习只是在这个等价关系下约简样本集合 等价关系为： {(x, y) : a(x)=a(y), x, y?U} * 一个无矛盾规则越短，其覆盖对象越多，因此，符号机器学习的泛化是以信息长度描述的。这样，“最小”树或规则集合就是其目标函数 两个因素影响这个目标：其一，从实域到符号域的映射，其二，在符号域上的约简。对“最小”两者都是NP完全的。因此，近似算法是必然