如何测试ChatGPT的语义理解与常识推理水平——兼谈大语言模型时代语言学的挑战与机会.pdfVIP

专题研究二语言智能

如何测试ChatGPT的语义理解与常识推理水平？

*

——兼谈大语言模型时代语言学的挑战与机会a

袁毓林

999078

（澳门大学人文学院中国语言文学系澳门；

北京大学中文系/中国语言学研究中心北京100871）

提要ChatGPT等大语言模型在语义理解和常识推理方面表现优秀，其技术奥秘在于模型开发者在对词语进行

向量表示时，遵循分布式语义学原理，采用了“嵌入”这种代数方法。但是，经典的测试语言运用等智能水平的

“图灵测试”，难以识别欺骗和回避等作弊手段，因此，计算机科学家设计了“新图灵测试”，其中的威诺格拉德

模式挑战与语言学关系密切。这一模式以代词消歧为测试点设计句子对和问题，但是经过大规模语料训练的语言

模型可以凭借词汇上的统计相关性，而不是靠真正理解句子的意义来给出正确答案。为克服这一缺陷，学者们又

发展出WinoGrande数据集，提高了数据的规模和难度，确保它们无法通过网络搜索等手段来得到正确答案。我

们用威诺格拉德模式设计了无偏向双重句子对测试ChatGPT，展示了大语言模型在语义理解和常识推理方面已达

到接近人类的水平。当然，从具身模拟假说来看，大语言模型不可能像人一样富有体验性地理解人类自然语言。

最后，我们呼吁：语言学家应该积极参与构建WinoGrade测试集之类的工作，在人工智能时代扩展自身的学术研

究领域。

ChatGPTWinoGrande

关键词；大语言模型；新图灵测试；威诺格拉德模式挑战；数据集

---

H002A20961014202401004915

中图分类号文献标识码文章编号（）

DOI10.19689/10-1361/h

HowtoTestChatGPT’sPerformanceinSemanticUnderstandingandCommon-SenseReasoning:

ChallengesandOpportunitiesofLinguisticsintheEraofLargeLanguageModels

YuanYulin

AbstractThispaperexaminestheapproachestotesttheperformanceofChatGPTinsemanticunderstandingandcommon-

sensereasoning.ItfirstreviewstheremarkableperformanceofChatGPTandotherlargelanguagemodels(LLM)in

semanticunderstandingandcommon-sensereasoning,andexplainshowtheyusedistributionalsemanticsandtokenvector

representationstoprocesslanguage.Then,itcritiquestheclassical“TuringTest”andintroducessomealternativenewt