基于Transformer模型的语义引擎专利态势研究.pdfVIP

第22卷第5期中国发明与专利（知识产权情报学学报）Vol.22No.5

2025年5月ChinaInventionPatent(JournalofIntellectualPropertyInformationScience)May2025

基于Transformer模型的语义引擎

专利态势研究

谢裕颖  沈 煜  张文霞  张 宇  郑 钰  张若玙

（浙江省知识产权保护中心，杭州310012） 

摘 要：[目的/意义]本文对基于Transformer的语义引擎技术的全球专利进行分析，旨在为技术创新和专利

布局提供科学依据，帮助创新主体进行技术研发和风险应对，提高其国际竞争力。[方法/过程]本文简单介绍了语

义引擎相关技术，分析了语义引擎技术的发展概况；通过专利检索和分析工具，对语义引擎技术的三条分支的专利

进行研究，分析其在国际和国内的申请趋势、流向、申请人特点、法律状态等信息。[结果/结论]本文发现基于

Transformer模型的语义引擎技术是未来的发展趋势，并且着重对基于Transformer模型的语义引擎技术的重点申请主

体进行了研究，对各主体布局的重点进行了对比，发现美国创新主体占据领先地位，我国创新主体的专利整体布局

较少，并且缺乏关键的底层专利。

专利语义引擎预训练模型自然语言处理Transformer

关键词：

G306A

中图分类号：文献标识码：

DOI：10.3969/j.issn.1672-6081.2025.05.007

0引言利用计算机输入人类自然语言，经过识别、分析、理

随着大数据时代人工智能的发展，机器学习也越解后进行加工和输出的一种人工智能技术。自然语言

来越火热，自然语言处理（NLP）系统自然而然进入了处理分为两个步骤：自然语言理解（NLU）和自然语言

[1]

人们的视野。语义引擎技术应用于自然语言处理领域，生成（NLG）。NLP主要分为卷积神经网络（CNN）、

是对输入数据进行语义理解和计算的过程。自2017年循环神经网络（RNN）和Transformer三个分支。

Transformer架构提出以来，经过了快速、激烈的发展。早在1989年，YannLeCun团队一起发现了

本文重点分析飞速发展的语义引擎技术及其专利布局CNN[2]，当时只适用于字符的识别。后来LeNet[3]发

策略，以帮助创新主体识别技术风险，提升知识产权布，提出了可以利用卷积层堆叠的方法进行特征提取

竞争力。的框架，从此CNN开始飞速发展。RNN最早由美国

学者J.A.Robinson在20世纪80年代中期提出，但当

1技术简介时RNN的能力没有被充分挖掘。随后SHochreiter[4]等

语义引擎技术是一种特殊的自然语言处理方法，是提出长短期记忆（LSTM)网络，对传统的循环神经网

作者简介：谢裕颖（1987—），男，江苏如皋人，硕士，副研究员，主要从事专利导航、专利预警、专利信息分析研究工作；

沈煜（1979—），男，浙江杭州人，硕士，副研究员，主要从事数字经济、绿色低碳产业研究，知识产权保护运用研究工作；

张文霞（1971—），女，浙江玉环人，本科，中级经济师，主要从事知识产权综合运用、专利分析相关工作；张宇（1995—）