原创力文档- 1
- 0
- 约1.08万字
- 约 7页
- 2024-03-06 发布于四川
- 举报
本发明涉及语言处理技术领域，涉及一种用于探测预训练深度语言模型生成的句子表示的方法，包括：一、给定句子W、W对应的模型M；二、从模型M中获得向量序列H＝M(W)；三、设计树拓扑探针，树拓扑探针首先使用结构探针计算H的探测树深序列probSeqf；然后，构建伪树深序列pesuSeqW并计算pesuSeqf与pesuSeqW之间的距离度量；四、将任务损失和距离度量输入综合损失得到最后的微调损失，通过树拓扑探针微调发现预训练深度语言模型生成的句子表示的内部结构是否具有树形结构的层次结构。本发明能较佳地
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号CN117648922A
(43)申请公布日2024.03.05
(21)申请号202311397452.3G06N3/0895(2023.01)
(22)申请日2023.10
文档评论（0）