基于神经网络的语义相似度计算中的句子编码与相似度度量学习研究综述.docVIP

基于神经网络的语义相似度计算中的句子编码与相似度度量学习研究综述

句子编码技术的演进路径

句子编码作为语义相似度计算的核心前置模块，其发展历程本质上是从离散符号表示到连续语义空间映射的迭代过程。早期的词袋模型将句子视为词汇的无序集合，通过TF-IDF权重构建高维稀疏向量，这种方法完全忽略了语序信息和上下文依赖，对于“我喜欢猫但讨厌狗”和“我喜欢狗但讨厌猫”这类语义完全相反的句子，会得到几乎相同的向量表示。后续出现的n-gram模型尝试捕捉局部语序信息，通过统计连续词汇组合的出现频率提升表示能力，但面临数据稀疏和维度爆炸的双重困境，当n取值大于3时，绝大多数词汇组合在语料中从未出现，模型泛化能力急剧下降。

预训练词向量的出现为句子编码提供了新的范式。Word2Vec、GloVe等模型通过无监督学习将每个词汇映射到低维连续向量空间，能够捕捉词汇间的语义关联，如“国王”-“男人”+“女人”≈“王后”的线性关系。但词向量本质上是静态的，无法解决一词多义问题，“苹果”在“我买了一斤苹果”和“我买了苹果手机”中会得到完全相同的向量表示。基于词向量的句子编码通常采用平均池化、最大池化等简单聚合方式，虽然实现了维度压缩，但会丢失大量语序和结构信息，难以准确表示复杂句子的语义。

循环神经网络（RNN）及其变体LSTM、GRU的引入，首次实现了对句子序列信息的有效建模。这类模型按照语序逐个处理词汇，通