文本数据量不够大的时候可用的一些实用方法,从而赋予小数据集以价值.pdfVIP

文本数据量不够大的时候可用的一些实用方法，从而赋予小数据集以价值 数据不够大，就不能玩深度学习？长期存在的一大挑战就是：只有极少数情 况下有足够的数据进行深度学习。 本文作者提出了一些比较实用的方法，从简单的经典机 器学习建模方法开始着手解决这个问题，以应对文本数据量不够大的情况。 深度学习往往需要大量数据， 不然就会出现过度拟合， 本文作者提出了一些在文本数据量 不够大的时候可用的一些实用方法，从而赋予小数据集以价值。 作为数据科学家，为你的问题选择正确的建模方法和算法应该是你最重要的技能之一。 几个月前，我致力于解决一个文本分类问题， 关键在于判断哪些新闻文章与我的客户相关。 我只有一个几千条带标注的新闻数据集， 所以我从简单的经典机器学习建模方法开始着手 解决这个问题，例如用 TF-IDF 来做 Logistic 回归分类。 一般说来，这些模型适用于长文档（如新闻、博客文章等）的文本分类，然而在我这个任 务上的执行效果却不尽如人意，仅仅略好于随机分类。 在研究了一番模型错在哪里之后， 我发现词袋模型 （bag of words）这种表示方法对于这个 任务是不够的，我需要一个能深入理解文档语义的模型。 深度学习模型在需要深入理解文本语义的复杂任务上已经表现出了非常好的效果， 例如机 器翻译，自动问答，文本摘要，自然语言推理等。 这看起来对我的任务而言是一个很完美的方法， 但是为了训练深度学习模型通常需要数十 万甚至数百万个被标记的数据，而我只有一个很小的数据集。怎么办呢？ 通常，我们需要大量数据来训练深度学习模型目的在于避免过拟合。深度神经网络具有非 常非常多的参数，因此如果没有用足够的数据去训练它们，它们往往会记住整个训练集， 这就会导致训练的效果很好，但在测试集上的效果就很差了。 为了避免因缺乏大量数据而导致的这种情况， 我们需要使用一些特殊的技巧！一击必杀的 技巧！ 在这篇文章中，我将展示一些由我自己开发或是我在文章、博客、论坛、 Kaggle 和其他一 些地方发现的方法， 看看它们是如何在没有大数据的情况下让深度学习更好地完成我的任 务的。其中许多方法都基于计算机视觉中广泛使用的最佳实践。 一个小小的免责声明：我并不是一个深度学习方面的专家， 这个项目也只是最初几个我用 深度学习完成的大项目之一。 这篇文章的所有内容都是对我个人经验的总结，有可能我的 方法并不适用你的问题。 正则化 正则化方法以不同的形式呈现在机器学习模型中， 它可以被用来避免过拟合。这些方法的 理论性很强，对于大多数问题来说是一种普遍通用的方式。 L1 和 L2 正则化 这些方法可能是最古老的，并且在许多机器学习模型中已经使用多年。 使用这种方法时，我们将权重的大小添加到我们试图最小化的模型损失函数中。这样，模 型将尽量使权重变小，同时那些对模型影响不明显的权重值将被减小到零。 通过这种方式，我们可以使用更少数量的权重来记住训练集。 更多细节： https://towardsdatascience/only-numpy-implementing-different-combination-of-l1-norm-l2-nor m-l1-regularization-and-14b01a9773b Dropout Dropout 是另一种较新的正则化方法。它具体的做法是在训练期间，神经网络中的每个节 点（神经元）按照 P 的概率被丢弃（即权重被设置为零） 。这样，网络就不会依赖于特定 的神经元和他们之间的相互作用， 而必须在不同的部分学习每一种模式。这就使得模型专 注于学习那些更易于适用到新数据的重要模式。 Early stopping Early stopping 是一种简单的正则化方法， 只需监控验证集性能， 如果你发现验证集性能不 再提高，就停止训练。这种方法在没有大数据的情况下非常重要，因为模型在