基于层级注意力机制的文档分类研究综述.docVIP

基于层级注意力机制的文档分类研究综述

层级注意力机制的技术框架与核心逻辑

层级注意力机制的核心设计思路来源于对人类文本认知过程的模拟：人类在理解长文档时，会依次完成“字符/子词识别→词语语义理解→句子核心信息抽取→段落主题聚合→全文主旨归纳”的分层认知过程，不同层级的信息重要性存在显著差异。该机制将文档表示为「字符-词语-句子-段落-文档」的多层级嵌套结构，在每个层级独立计算注意力权重，筛选出对分类任务最具贡献的语义单元，最终通过层级间的信息传递完成文档的全局语义表示。

早期的注意力机制多为扁平化结构，直接对文档中的所有词语计算注意力权重，无法捕捉长文档的层级语义关联。层级注意力机制的突破点在于引入了分层语义编码与逐层注意力过滤的双模块结构：在编码层，通常采用双向LSTM、Transformer编码器或预训练语言模型（如BERT、RoBERTa）作为基础编码单元，对每个层级的输入进行上下文语义编码，保留单元内部的语义依赖关系；在注意力层，针对每个层级的编码结果，通过可训练的查询向量计算每个语义单元的重要性得分，经过Softmax归一化后得到注意力权重，再通过加权求和得到该层级的聚合表示，输入到更高层级继续处理。

以经典的分层注意力网络（HAN）为例，其架构包含两个核心注意力层级：词语级注意力层与句子级注意力层。在词语级层面，模型首先将每个句子中的词语转换为词向量，通过双向GRU编码