2025年大模型能力来源与边界报告.pptxVIP

;

仅修改130亿参数中的1个就会使模型完全混乱

输入：FudanUniversityislocatedin

LLaMA2-13B(PPL5.877)：FudanUniversityislocatedinShanghai,China.Itislocallyknownas复旦大学.Theuniversitywasestablishedin1905.ItisaccreditedbyMinistryofEducationofthePeoplesRepublicofChina.Thereareover40,000studentsstudyinginvariouscoursesofferedbyFudanUniversity.ThelanguageofinstructionisChinese.

LLaMA2-13B-修改语言核心区1维扩大10倍(PPL376079936)：FudanUniversityislocatedin

ssssssssssssssssssssssssNosSsYousTheresThatsAsThisss##sssssThisssssThisssstssThes/ssWhatsssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssssss

ssssssssssssssssssssssthssssdsvss\s{s

LLaMA2-13B-修改语言非核心区LayerNorm其他维度扩大10倍(PPL5.914)：FudanUniversityislocatedinShanghai,China,thelargestcitywiththemosteconomicandculturalactivitiesinChina.Withthemostadvancedinfrastructureandthebestlivingcondition,ithasbecometheinternational

educationcenterwiththelargestoverseastudents.ItconsistsofJinan,KangqiaoandFenglincampus,whichboaststhebestresourcesfromboth

educationandresearch.FudanUniversityhasbeenafamousandattractiveuniversityforinternationalstudents,especiallyinthepastonedecadefrom2001-2010.;;;

知识利用层次图;

大模型目前在哪个层级？未来可以到哪个层级？

4—目前？;;

知识利用层次图;;;

大模型“参加”2024高考数学情况;;

大模型“参加”2024高考数学情况;

大模型“参加”2024高考数学情况;

大模型“参加”美国数学奥赛情况;

归纳推理的能力如何呢？;

当任务复杂程度增大时，模型的准确率接近为0;

使用180万数据训练GPT3模型

GPT3经过充分调整，在特定任务数据上达到了一定的问题规模。蓝色区域表示分布内样本，红色区域表示OOD样本。

所有k1和k2符合1≤k1,k2≤4并且k1·k2≤9;;;

乘法2025-01-31报告;

大模型工具调用评测;

原题：奥利弗在星期五摘了44个猕猴桃。然后在星期六摘了58

个猕猴桃。星期天，他摘的猕猴桃数量是星期五的两倍。奥利弗

有多少个猕猴桃？

变形题目：奥利弗在星期五摘了44个猕猴桃。然后在星期六摘

了58个猕猴桃。星期天，他摘的猕猴桃数量是星期五的两倍，

但其中5个比平均大小要小。奥利弗有多少个猕猴桃？

GPT-o1-mini给出的答案是：……在星期天，这5个猕猴桃比

平均大小要小。我们需要从星期天的总数中减去它们：88（星期

天的猕猴桃）-5（小猕猴桃）=83个猕猴桃。

;;;

29;

30;;;;;

大模型高泛化工具调用;

大模型Code生成能力提升;

38;

39;;

1.直接通过训练语料的统计就可以计算得到知识记忆概率;;;;

问题1：在SFT阶