第四章不等式.ppt

第四章：不等式 不等式 有些量很难计算，不等式可以对这些量给出一个界 不等式也是下一章讨论收敛理论的基础 关于概率的不等式 Markov不等式 Chebyshev不等式 Hoeffding不等式 关于期望的不等式 Cauchy-Schwarze不等式 Jensen不等式 Markov不等式 4.1 定理（ Markov不等式）：令X为非负随机变量且假设 存在，则对任意 ，有 当 ， 当 k1时，表示随机变量的取值离不会期望不会太远（离期望较远的概率很小，小于 ） 当 时， ，上式总是成立表示（ ） Markov不等式 将X换成满足条件的r(X)，上述结论也成立！ 当 ？ Chebyshev不等式：Markov不等式的应用 Chebyshev不等式 4.2 定理（Chebyshev不等式）：令 则 其中 X在其期望附近（t邻域）的概率与方差 有关 越大，随机变量远离期望的概率越大（方差用于度量随机变量围绕均值的散布程度） 越小，随机变量在期望附近，远离期望的概率越小 可用来证明样本均值会在其期望附件（样本数越多越接近，因为样本方差随n增大而减小） Chebyshev不等式 X在其期望附近（t邻域）的概率与方差 有关 另外一个变形： k=2？ k=3？ 高斯分布为0.9997 这个界很松，因为Chebyshev不等式没有限定分布的形式，所以应用广泛 对某些具体的分布来说，可以得到更紧致的界，如高斯分布 Chebyshev不等式 4.3例：假设我们在一个有n个测试样本的测试集上测试一个预测方法（以神经网络为例）。若预测错误置 预测正确则置 。则 为观测到的错误率。每个 可视为有未知均值p的Bernoulli分布。我们想知道真正的错误率p 。 直观地，我们希望 接近p 。但 有多大可能不在p的ε邻域内？ 由于对任意p有 ，所以当 时，边界为0.0625。 Hoeffding不等式 作用与Chebyshev不等式类似，但区间更紧致（增加了独立性约束） 4.4 定理（ Hoeffding不等式）：设 相互独立，且 。令 ，则对任意 4.5 定理（ Hoeffding不等式）：令 则对任意 ，有 其中 Hoeffding不等式 4.6 例：令 则根据Chebyshev不等式，有 根据Hoeffding不等式，有 结果远远小于0.0625。 Hoeffding不等式 可用来计算二项分布中的参数p的置信区间 对给定的 ，令 则根据Hoeffding不等式 令 ，则 则 。 称C为 置信区间。 Cauchy-Schwarze不等式 4.8 定理（ Cauchy-Schwarze不等式）：若X、Y是有限方差，则 例：协方差不等式 Jensen不等式 4.9 定理（ Jensen不等式）：如果g是凸的，则 如果g是凹的，则 凸函数 如果对所有的 ，满足 则函数 为凸函数（convex）， 为凹函数（concave） 凸：装水，如 凹：溢出水，如 凸函数 几何意义 连接 (a,g(a)),(b,g(b))两点的弦，永远在 y=g(x) 之上 凸光滑函数上任一点的切线在曲线的下方 下节课内容：随机变量序列的收敛性 随机样本：IID样本 ， 统计量：对随机样本概述 Y为随机变量，Y的分布称为统计量的采样分布 如：样本均值、样本方差、样本中值 收敛性：当样本数量n趋向无穷大时，统计量的变化 大样本理论、极限定理、渐近理论 * * Mill’s inequality x *