1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 学术论文
  5. 大学论文

基于强化学习的多教师知识蒸馏句子表征方法研究.pdf

基于强化学习的多教师知识蒸馏句子表征方法研究.pdf

    摘要

    近年来，无监督句子表征学习在对比学习和排序蒸馏的双重驱动下取得显著

    进展。对比学习方法通过构造正负样本对促使句向量在表示空间中形成均匀分布，

    而排序蒸馏技术则通过迁移教师模型句间相似度的细粒度排序知识，有效改善表

    征的语义区分能力。然而，现有方法在多教师协同蒸馏时普遍采用静态权重分配

    策略，这种刚性机制存在双重缺陷：既无法适应不同教师模型的表征能力差异，

    又可能因重要排序信息丢失而制约学生模型的优化上限

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >