高级人工智能第五节请勿删除!!!!..ppt

高级人工智能 主讲：余永权教授 第五节 3.2.2VC维和推广性的界 2.生长函数的性质和VC维 VC熵、退火VC熵、生长函数对统计学习理论均有用。但离实用尚有较大距离。建立在VC维基础上的理论则在实用中有价值。 1）生长函数的性质 定理3.2-4 所有函数集的生长函数G(n)，存在如下性质： ⅰ）或者与样本数成正比，即 (3.2-15) ⅱ）或者以样本的某个对数为上界，即 （3.2-16） 其中：h是一个整数，它是生长函数式（3.2-15）到（3.2-16）的转折点。 G（n） n㏑2 h㏑（ h n (2)生成函数的上界分析 生成函数为： G（n）= n㏑2 上界为： h㏑（ 对两者的大小进行分析。 ⅰ） 当n=h 时，有： G（h）= h㏑2 h㏑（ = h㏑2 当n=h 时，生成函数和上界相等。 ⅱ）当n=kh , h ﹥1时，有： G（kh）= k h㏑2 (3.2-17) h㏑（ = h㏑(k+1) (3.2-18) 在上式（3.2-17）、（3.2-18）两式中，由 于存在 k﹥ ㏑(k+1),k﹥1, 故而实际有： G（n）﹥h㏑（ , n﹥h时， 所以，在n﹥h时，取h㏑（ 为上界是 一种合理的方法。 （2）收敛性分析 定理3.2-3指出一致收敛，快度收敛的充分必要条件是： =0. 对于一般的生成函数 G（n）≤n㏑2 ⅰ）在G（n）= n㏑2 时， =㏑2 这时不满足充要条件。 ⅱ）在取G（n）的值为： G（n）= h㏑（ 时， = = ﹤ = = =0 这说明当 G（n）取h㏑（ 为上界时，是可以实现一致收敛和快度收敛。 （4）VC维（Vapnik Chervonenkiv Dimension） VC维直观定义： 对于一个指示函数，如果存在h个样本，能够 被函数集中的函数按所有可能的2h种形式分开， 则称函数集能够把h个样本打散（shattering）；函 数集的VC维就是它能打散的最大样本数目h。 VC维反映了函数的学习能力。 目前尚未有计算任意函数VC维的理论。 三个样本点，可以使用直线分类器分类，因此其VC维至少为3： 三个样本点有两种情况是不能一条直线分类器分类的，如下： 只要存在就行，不要求所有的样本集合都要满足条件。 对于4个样本点： 无论4个点在一条直线上还是不在一条直线上（任意位置），都不能进行24=16种类型的分类，因此VC维=3的直线分类器不能满足4个样本点的分类要求 。 轴平行的矩形能够散列二维空间的４个点 ： 当为轴平行的矩形分类器的ＶＣ维等于４。 VC维在支持向量机学习中的作用： 在小样本（样本数量少）数据的学习中，出现过拟合问题。因为，对于小样本