AI系列深度16期：语言智能为何从RNN转向Transformer？.docxVIP

东吴证券研究所1/15

东吴证券研究所

请务必阅读正文之后的免责声明部分

请务必阅读正文之后的免责声明部分

证券研究报告

证券研究报告·行业深度报告·汽车

汽车行业深度报告

AI系列深度16期：语言智能为何从RNN转2026年08月06日向Transformer？

增持（维持）

投资要点

n语言智能从RNN走向Transformer的本质，是序列建模从“递归记忆”转向“全局注意力”，并由此打开并行训练、规模扩展和任务统一的空间。RNN通过隐藏状态沿时间步传递上下文，适合文本、语音等顺序数据，并在LSTM/GRU、Seq2Seq和Attention-RNN推动下，于2014—2016年达到机器翻译等任务的工程高峰；但其串行计算、长距离依赖衰减和固定向量瓶颈，决定了递归范式很难继续承载大模型时代的规模化路线。

nTransformer的关键变化，不在于设计更复杂的记忆单元，而在于以自注意力让序列中任意位置直接交互，使语言建模从受串行结构约束的算法问题，转变为可随算力和数据扩展的工程问题。其优势集中体现在训练可并行、长距离依赖建模更强、结构更易堆叠扩展、归纳偏置更弱并更能释放大规模数据价值；相应代价是长序列计算成本、位置编码和小数据条件下先验不足