基于神经网络的语义相似度计算中的组合性与分布性研究综述.docVIP

基于神经网络的语义相似度计算中的组合性与分布性研究综述

一、语义相似度计算的核心范式演化

语义相似度计算作为自然语言处理领域的基础任务，其核心目标是量化两段文本在语义层面的等价或相近程度，广泛支撑信息检索、问答系统、机器翻译、对话生成等下游应用。在神经网络方法普及前，该领域长期以离散符号表示为核心：基于词典的方法通过WordNet等词汇知识库计算词语路径距离，基于统计的方法利用语料共现频率构建词袋模型、TF-IDF向量或潜在语义分析（LSA）表示。这类方法本质上仅捕捉词汇的表层分布关联，无法处理一词多义、语序依赖、句法结构影响等复杂语义现象，更难以对句子级、段落级的语义组合规律进行建模。

2013年Word2Vec模型的提出标志着分布式语义表示时代的到来。该模型通过预测上下文词语的无监督训练，将每个词语映射为低维稠密实数向量，向量空间中的几何距离直接对应词语语义相似度——例如猫与狗的向量距离远小于猫与汽车的距离。这种分布式表示天然具备语义泛化能力，能够自动学习到词汇的上下文相关语义特征，有效缓解了一词多义问题。但单个词向量仅能表示孤立词汇的语义，如何将多个词向量组合为句子、段落的整体语义表示，即语义组合性问题，成为神经网络语义相似度计算领域的核心研究方向。

分布性与组合性并非对立概念，而是语义表示的两个核心维度：分布性关注语言单位在语料中的上下文共现规律，解决语义如何从使用中涌现的