《自然语言处理》全套PPT课件_601-700.pptxVIP

11.5.2实体网格模型

●从实体网格中提取出有效特征来反映连贯文本中实体的分布和转移规律。

●局部实体转移(localentitytransition):序列{S,0,x}n表示一个实体在连续n个句子中的出现和语法角色情况。

●例如，实体microsoft在6个句子中对应的语法角色序列为SOSS-S。

●局部实体转移特征的形式与内容无关。

613

●可以根据篇章内所有实体的转移情况，建立统计模型评估篇章连贯性。

●策略1:将篇章T={S₁,…,SN}的连贯性表示为分布在句子序列中的m个实体的联合概率

coherence(T)=Pcoherence(e₁,…,em;S₁,…,Sn)

●假设实体被独立地引入篇章，则

●其中p(ej;S₁…Sn)可表示为实体列，即实体网格中每一列中对应的转移序列。

p(ej;S1…Sn)=p(r1,j…TN,j)·r;,;表示实体e;在第i个句子中的语法角色；

根据马尔科夫假设，可以考虑有限的转移历史来简化公式中的条件概率，如仅考虑实体在最近h个句子内的转移序列。

·模型的参数集合为{p(ri;jlri-h,j.ri-1.j)}。我们可以利用大规模的连贯文本构建实体网格来估计模型参数。

11.5.2实体网格模型

614

11.5.2实体网格模型

●可以根据篇章内所有实体的转移情况，建立统计模型评估篇章连贯性。

●策略2:以局部实体转移为特征，根据句子排序任务的设置，通过训练辨别式分类模型区分连贯与非连贯文本或者通过训练排序模型比较连贯与非连贯文本来学习模型参数。

●实体网格模型还有许多扩展以融入更丰富的实体信息甚至篇章关系信息。

615

11.5.3基于表示学习的方法

●基于表示学习的方法尝试建立篇章的分布式语义表示与连贯性的关联。

●监督学习，需要大规模的训练数据。

●基本思路是利用连贯文本中句子的次序、邻接性等自身性质，自动构建训练数据，通过优化相应的损失函数学习文本编码器和连贯性评估函数。

616

11.5.3基于表示学习的方法

●举例：基于句子窗口的方法

●构建训练数据：提取窗口大小为2k+1(k1)的连续句子作为一个语段，记为Ui=Si-k,…,Si,…,Si+k。

●以k=3为例，从连贯文本中提取连续3个句子构成语段U;=Si-k,…,Si,…,Si+k作为正例，而后随机替换该语段中间的句子S;,认为替换后语段U[=Si-k,…,S{,…,Si+k是非连贯的，作为

反例。

●用类似策略，可自动构建大规模训练数据Trainset

617

11.5.3基于表示学习的方法

●举例：基于句子窗口的方法

●使用编码器encoder对每个句子进行编码，即

Zi=encoder(Si)

●encoder可使用循环神经网络、递归神经网络或Transformer等架构。

●令coherence(U)表示语段U的连贯性分数，

●语义组合函数corcoherence(U)=f(comp(2i-k,…,i,zi+k))络f(如前向网络)映射到连贯性标签或分数。

618

11.5.3基于表示学习的方法

●举例：基于句子窗口的方法

●采用适当的损失函数，优化编码器、分类网络等网络中的参数，例如：

●概率损失函数：将语段Ui连贯的可能性可表示为

·整个训练集上的损失可定义为Pcoherence(Ui)=sigmoid(coherence(U))

其中，yu=1表示语段U连贯，yn=0表示语段U不连贯.

●对比损失函数：对于一个正例

·间隔8是一个大于零的超参

·整个训练集上的损失可定义为：

L(U+,U-)=max(0,δ-coherence(U)+coherence(U-))

619

11.5.3基于表示学习的方法

●举例：基于句子窗口的方法

·测试：对于待测篇章T,将其划分为一系列语段T={U₁,U2,……3,则篇章连贯性可通过聚合多个语段的篇章连贯性概率或评分来实现，如：

·还有研究采用其他优化目标和相应的数据构造方式来学习文本表示，如设计判别模型判断两个句子是否在原文中连续出现或者设