- 3
- 0
- 约1.02千字
- 约 1页
- 2020-10-30 发布于天津
- 举报
一些在文本数据量不够大的时候可用的一些实用方法
深度学习往往需要大量数据,不然就会出现过度拟合,本文作者提出了一些
在文本数据量不够大的时候可用的一些实用方法,从而赋予小数据集以价值。
作为数据科学家,为你的问题选择正确的建模方法和算法应该是你最重要的技能之一。
几个月前,我致力于解决一个文本分类问题, 关键在于判断哪些新闻文章与我的客户相关。
我只有一个几千条带标注的新闻数据集, 所以我从简单的经典机器学习建模方法开始着手
解决这个问题,例如用 TF-IDF 来做 Logistic 回归分类。
一般说来,这些模型适用于长文档(如新闻、博客文章等)的文本分类,然而在我这个任
务上的执行效果却不尽如人意,仅仅略好于随机分类。
在研究了一番模型错在哪里之后, 我发现词袋模型 (bag of words)这种表示方法对于这个
任务是不够的,我需要一个能深入理解文档语义的模型。
深度学习模型在需要深入理解文本语义的复杂任务上已经表现出了非常好的效果, 例如机
器翻译,自动问答,文本摘要,自然语言推理等。
这看起来
您可能关注的文档
- 【生物】河北省保定市2015-2016学年高一上学期期末考试.pdf
- 【生物】重庆市南开中学2015-2016学年高二下学期期中测试.pdf
- 【知识点】初中数学你必须掌握的60个易错点!.pdf
- 【答案】青岛市春季高考第一次模拟考试.pdf
- 【简易通,创新设计】(福建专用)高三地理二轮复习地理基本技能“考学练”大冲关训练题:专题12工农业生.pdf
- 【简易通,创新设计】(福建专用)高三地理二轮复习地理基本技能“考学练”大冲关训练题:专题19环境保护.pdf
- 【简易通,创新设计】(福建专用)高三地理二轮复习地理基本技能“考学练”大冲关训练题:专题2地理统计.pdf
- 【精品复习】中考英语写作技巧名师教案.pdf
- 【精校版】2017年高考浙江卷英语试题(解析版).pdf
- 【考前三个月_广东专用】高考生物二轮专题复习篇:第一部分专题三第1讲.pdf
原创力文档

文档评论(0)