2024-3大语言模型是实现AGI的必由之路(32页）.pptxVIP

;;;

AGI（ArtificialGeneralIntelligence），中文翻译为“通用人工智能”，亦被称

为强AI，任何可以想象的人类的专业领域内，具备相当于人类智慧程度的AI，一个AGI可以执行任何人类可以完成的智力任务。;

AGI要具备哪些能力呢

1.语言：使用自然语言交流

2.知识：常识知识、专业知识

3.推理：演绎、归纳、溯因

4.学习：根据历史进行自我学习;;

演绎推理（Deductivereasoning）：就是从一般性的前提出发，通过推导，得

出具体陈述或个别结论的过程。

例如经典的三段论推理：

前提：人皆会死

前提：苏格拉底是人

结论：苏格拉底会死;

归纳推理（Inductivereasoning）：是论证的前提支持结论但不确保结论的推理

过程。它基于对特殊的代表（token）的有限观察，把归结到类型；或基于对反复再现的现象的模式（pattern）的有限观察，公式表达规律。

例如：

观察：我们每次看到的有翅膀的动物都是鸟

观察：我们又看到了一个有翅膀的动物

结论：这个动物应该是也是鸟;

溯因推理（Abductivereasoning，也译作反绎推理）：是从事实推理到最佳解

释的过程。换句话说，它是开始于事实的，并推导出其最佳解释的推理过程。

例如：

观察：这个车不能启动了，在发动机下看到了一滩液体。

结论：这个车不能启动的原因大概率是因为发动机有漏油。;;;

演绎推理有比较好的数学工具，目前大模型模型效果较好;

2023年5月版本并不能很好的解决演绎推理;

当前的版本复杂逻辑题仍存在问题;

2022年新创建数据集合人工创建的分布外数据

EvaluatingtheLogicalReasoningAbilityofChatGPTandGPT-4,Arxiv202315;

真实应用中的演绎推理怎么样？;

大模型在预训练阶段可能直接学习

到下一届奥运会在亚洲举办这一跨步知识，当采用知识编辑方法将下一届奥运会举办国由日本改为法国后，模型可能仍然认为下一届奥运会在亚洲举办。;

关注四个能力

?检索：WhatispersonA’sattributeX?

?分类：IsA’sattributeXevenorodd?

?比较：IsAgreaterthanBinattributeX?

?逆向搜索：Whichperson’sattributeXequalsT?

PhysicsofLanguageModels:Part3.2,KnowledgeManipulation，Allen-ZhuZ.,LiY.,Arixv2023MeatAI/FAIRLabs18;

大模型对知识运用能力怎么样？;

语言模型难以完成比较和分类任务。

PhysicsofLanguageModels:Part3.2,KnowledgeManipulation，Allen-ZhuZ.,LiY.,Arixv2023MeatAI/FAIRLabs20;

语言模型无法进行逆向知识搜索，除非知识以逆序出现在预训练数据中

PhysicsofLanguageModels:Part3.2,KnowledgeManipulation，Allen-ZhuZ.,LiY.,Arixv2023MeatAI/FAIRLabs21;;;

归纳推理的能力如何呢？;

当任务复杂程度增大时，模型的准确率接近为0;

GPT3modelson～1.8Mmultiplicationpairs

GPT3finetunedexhaustivelyontask-specificdatauptoacertainproblemsize.Theblueregionrepresentsthein-distributionexampl