自然语言处理算法鲁棒性研究思考报告.pptx

下载文档

28
0
约2.03万字
约 79页
2024-12-18 发布于境外
举报
版权申诉
保障服务

自然语言处理算法鲁棒性研究思考报告.pptx

1、本文档共79页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

自然语言处理算法鲁棒性研究思考1

0各类自然语言处理算法快速发展，在很多任务上甚至超越人类Dynabench:RethinkingBenchmarkinginNLP2

0各类自然语言处理算法快速发展，在很多任务上甚至超越人类3

4自然语言处理真的被解决了吗？万亿大模型

0算法在实际应用中的效果却不尽如人意搜索引擎线上，精度95%条件下召回率小于20%能够回答的部分绝大多数都是原文匹配类型5

0算法在实际应用中的效果却不尽如人意6

0不经过鲁棒性评估会面临巨大风险对话系统答非所问潜在政治风险非常不好的用户体验7

4 Post-creditScenes8自然语言处理仍然面临很多问题

0模型对测试数据的微小变化非常敏感9Ebrahimietal.,HotFlip:White-BoxAdversarialExamplesforTextClassification,2018.

0模型对测试数据的微小变化非常敏感Xingetal.,TastyBurgers,SoggyFries:ProbingAspectRobustnessinAspect-BasedSentimentAnalysis,EMNLP202010

0模型对测试数据的微小变化非常敏感Xingetal.,TastyBurgers,SoggyFries:ProbingAspectRobustnessinAspect-BasedSentimentAnalysis,EMNLP202011

0为什么会这样？!#$%()(*+,-./0123 589:;=!?!@$A CDEF GHIJKHL?!M$NOPQRSTUVWXYZ[\] _`12

0为什么会这样？!#$%()(*+,-./0123 589:;=!?!@$A CDEF GHIJKHL?!M$NOPQRSTUVWXYZ[\] _`13

1数据集上存在偏置–WINOGRANDEAAAI 2020BestPaperWINOGRANDE:AnAdversarialWinogradSchemaChallengeatScaletrophy/suitcasetrophy/suitcaseWinogradSchemaChallenge(WSC) CommonsensereasoningThetrophydoesn’tfitintothebrownsuitcasebecauseit’stoolarge.Thetrophydoesn’tfitintothebrownsuitcasebecauseit’stoosmall.RoBERTalargeachieves91.3%accuracyonavariantofWSCdatasetHaveneurallanguagemodelssuccessfullyacquiredcommonsenseorareweoverestimatingthetruecapabilitiesofmachinecommonsense?Sakaguchietal.,WINOGRANDE:AnAdversarialWinogradSchemaChallengeatScale,AAAI2020.14Dataset-specificBiases

1数据集上存在偏置–WINOGRANDESakaguchietal.,WINOGRANDE:AnAdversarialWinogradSchemaChallengeatScale,AAAI2020.15

1数据集上存在偏置–WINOGRANDEdenserepresentationofinstancesusingtheirInsteadofmanuallyidentifiedlexicalfeatures,theyadoptaprecomputedneuralnetworkembeddings.MainSteps:RoBERTafine-tunedonasmallsubsetofthedataset.Anensembleoflinearclassifiers(logisticregressions)TrainedonrandomsubsetsofthedataDeterminewhethertherepresentationisstronglyindicativeofthecorrectansweropti