2023年自然语言处理算法鲁棒性研究思考报告.docx

自然语言处理算法鲁棒性研究思考

张奇

复旦大学

0

0各类自然语言处理算法快速发展，在很多任务上甚至超越人类

Dynabench:RethinkingBenchmarkinginNLP

2

0

0各类自然语言处理算法快速发展，在很多任务上甚至超越人类

3

4

4

自然语言处理真的被解决了吗？

万亿大模型

0

0算法在实际应用中的效果却不尽如人意

搜索引擎线上，精度95%条件下召回率小于20%能够回答的部分绝大多数都是原文匹配类型

5

0

0算法在实际应用中的效果却不尽如人意

6

0

0不经过鲁棒性评估会面临巨大风险

对话系统答非所问

潜在政治风险

7非常不好的用户体验

7

credit自然语言处理仍然面临很多问题

credit

0

0模型对测试数据的微小变化非常敏感

9Ebrahimietal.,HotFlip:White-BoxAdversarialExamplesforTextClassification,2018.

9

0

0模型对测试数据的微小变化非常敏感

Xingetal.,TastyBurgers,SoggyFries:ProbingAspectRobustnessinAspect-BasedSentimentAnalysis,EMNLP202010

0

0模型对测试数据的微小变化非常敏感

Xingetal.,TastyBurgers,SoggyFries:ProbingAspectRobustnessinAspect-BasedSentimentAnalysis,EMNLP202011

0

0为什么会这样？

问题1:为什么基于基准测试集合和常用评价指标的模式不能反映上述问题?问题2:深度神经网络模型到底学习到了什么?

问题3:现阶段自然语言处理算法鲁棒性究竟怎么样?

12

0

0为什么会这样？

问题1:为什么基于基准测试集合和常用评价指标的模式不能反映上述问题?

问题2:深度神经网络模型到底学习到了什么?

问题3:现阶段自然语言处理算法鲁棒性究竟怎么样?

13

1

1数据集上存在偏置–WINOGRANDE

AAAI2020BestPaperWINOGRANDE:AnAdversarialWinogradSchemaChallengeatScale

WinogradSchemaChallenge(WSC)Commonsensereasoning

Thetrophydoesn’tfitintothebrownsuitcasebecauseit’st