基于知识蒸馏与数据增强的无监督句子表征学习.pdf

基于知识蒸馏与数据增强的无监督句子表征学习.pdf

摘要

随着自然语言处理技术的快速发展,句子表征学习作为文本理解的核心任务,

其质量直接影响下游任务的性能。尽管基于监督学习的方法在特定领域表现出色,

但其依赖大量标注数据的特性限制了在低资源场景下的应用。而无监督句子表征

学习通过自监督或对比学习从无标注文本中挖掘语义信息,逐渐成为研究热点。

但仍存在一些关键问题亟待解决。主流的无监督句子表征学习方法通常采用对比

学习框架,平等地对待每一个负例句子,导致语义上较为相似的句子也被错误地

划分为负例进行学习。这种处理方式忽略了句子之间的细粒度语义差异,

文档评论(0)

1亿VIP精品文档

相关文档