一些在文本数据量不够大的时候可用的一些实用方法.pdfVIP

  • 3
  • 0
  • 约1.02千字
  • 约 1页
  • 2020-10-30 发布于天津
  • 举报

一些在文本数据量不够大的时候可用的一些实用方法.pdf

一些在文本数据量不够大的时候可用的一些实用方法 深度学习往往需要大量数据,不然就会出现过度拟合,本文作者提出了一些 在文本数据量不够大的时候可用的一些实用方法,从而赋予小数据集以价值。 作为数据科学家,为你的问题选择正确的建模方法和算法应该是你最重要的技能之一。 几个月前,我致力于解决一个文本分类问题, 关键在于判断哪些新闻文章与我的客户相关。 我只有一个几千条带标注的新闻数据集, 所以我从简单的经典机器学习建模方法开始着手 解决这个问题,例如用 TF-IDF 来做 Logistic 回归分类。 一般说来,这些模型适用于长文档(如新闻、博客文章等)的文本分类,然而在我这个任 务上的执行效果却不尽如人意,仅仅略好于随机分类。 在研究了一番模型错在哪里之后, 我发现词袋模型 (bag of words)这种表示方法对于这个 任务是不够的,我需要一个能深入理解文档语义的模型。 深度学习模型在需要深入理解文本语义的复杂任务上已经表现出了非常好的效果, 例如机 器翻译,自动问答,文本摘要,自然语言推理等。 这看起来

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档