机器学习中的稳定性_北京光环大数据人工智能培训.pdfVIP

光环大数据--大数据培训人工智能培训 机器学习中的稳定性_北京光环大数据人工智能培训 机器学习的过程往往被人戏称为“炼丹”，这大概要归功于其中难以估量的 不确定性。 在道观(实验室)里，我们可以放心的让算法在丹炉(GPU)上无休无止的炼(跑) 下去，而仅仅追求模型的低误分率及高精度(丹药的纯度)。而在工业界，除却误 分率这种直观的表现以外，我们更在意一个模型是否稳定。 到底什么是稳定？千人千面。而是否高阶的炼丹师有独特手法更稳定的练出 “金丹”，降低失败率呢？让我们带着疑问进入今天的正片环节:) 1. 计算的稳定性(Computational Stability) 计算稳定性特指模型运算性能的鲁棒性(Robustness)，我猜计算机背景的朋 友肯定不会对此感到陌生。举个简单例子，如果我们让整数型(int)的变量来储 存的一个浮点变量(float)，那么我们会损失精度。在机器学习中，我们往往涉 及了大量的计算，受限于计算机的运算精度，很多时候我们必须进行凑整 (Rounding)，将无理数近似到浮点数。这个过程中不可避免的造成了大量的微小 误差，随着凑整误差累计积少成多，最终会导致系统报错或者模型失败。我们一 起来看看机器学习中几种常见的的计算稳定性风险。 1.1. 下溢(Underflow)和上溢(Overflow) 顾名思义，溢出是代表内容超过了容器的极限。在机器学习当中，因为我们 大量的使用概率(Probability)，而概率的区间往往在0 至 1 之间，这就导致了 下溢发生的可能性大大提高。 光环大数据 光环大数据--大数据培训人工智能培训 举个简单的例子，我们常常需要将多个概率相乘，假设每个概率 ： 从此可以看出，仅仅需要是个 1%的概率相乘就可以得到一个极小的结果。 而机器学习中往往是成百上千个数字相乘，类似的情况导致计算机无法分辨0 和 和一个极小数之间的区别。在这种情况下，下溢可能导致模型直接失败。 相似的，上溢也是很容易发生的状况。试想我们需要将多个较大的数相乘， 很轻易的就可以超过计算机的上限。64 位计算机的数值上限并没有大家想象中 那么大: 因此在实际模型中，我们会避免将多个概率相乘，而转为求其对数(Log)， 举例: 这样我们就成功的将多项连乘转化为了多项加法，避免了可能发生的溢出。 而对数还有更多优美的数学的性质，例如其单调递增性，易转化为概率模型，凸 优化性等。 1.2. 平滑(Smoothing)与0 和下溢和上溢类似，我们常常会发现机器学习中遇到“连乘式”中某个元素 为0，导致运算失去意义。以朴素贝叶斯(Naive Bayes)为例： 我们判别一个样本点属于某个分类 的概率为其各项特征 属于分类 的概率 之乘积，即上式。但假设只要有任何一项 或者 ，那么这个乘式的乘积就会为0。 然而出现0 往往并不是真的因为其概率为0，而仅仅是我们的训练数据没有出现 过。 从某种意义上来说，这也属于一种计算上的不稳定。常见的做法是用拉普拉 光环大数据 光环大数据--大数据培训人工智能培训 斯平滑(Laplace Smoothing)来修正这种计算不稳。简单的说就是人为的给每种 可能性加一个例子，使其概率不再为0。 于是某个特征取特定值在分类下的概率就会被修正为： 在这种平滑处理后，我们所有乘子的取值都不会为0。相似的做法在自然语 言处理(NLP)中也常常会用到，比如N-gram 模型的语言模型也往往需要平滑来进 行处理，此文中暂时不表。 1.3. 算法稳定性(Algorithmic Stability)与扰动(Perturbation) 在机器学习或统计学习模型中，我们常常需要考虑算法的稳定性，即算法对 于数据扰动的鲁棒性。相信关注专栏的读者应该已经听我无数次提起过：“模型 的泛化误差由误差(Bias)和方差(Variance)共同决定，而高方差是不稳定性的罪 魁祸首”。