基座与垂直领域大模型及其涌现现象研究.pptx

基座大模型与垂直大领域模型人工智能的突然涌现《人工智能与创新》——AI基础篇

基座大模型基座大模型（FoundationLargeModel）是指那些在大量且内容广泛的数据集上进行预训练的大模型，这些模型具有强大的泛化能力，可以适用于各种不同的任务和领域。OpenAI的GPT生成式预训练系列模型就是基座大模型。例如，一个训练好的通用大语言模型就是一个基座模型，可以被用作生成医疗咨询系统的基础。它能够理解基本的医疗问题，并提供一些通用的医疗建议。基座模型就像在小学、中学甚至大学学习了基础知识和通识知识的人，能够解决一般人都会遇到的普遍问题。

垂直领域大模型垂直领域大模型（VerticalDomainLargeModel）是在基座模型的基础上，被进一步训练以理解特定领域的术语、风格和规则，适应特定领域的需求，解决特定领域的特定问题。微调（Fine-tuning）是机器学习和深度学习领域中的一个重要概念，就是在一个已经预训练好的模型基础上，针对特定任务进行进一步训练的过程。例如，在基座大模型的基础上，一个专门的医疗语言模型会被训练以识别特定的症状，并提供相应的诊断和治疗建议。?微调就像本科生进入研究生阶段深入学习专业知识。垂直领域模型就像经过硕士生和博士生阶段专业训练的人，能够更好地解决专业问题。

垂直领域大模型我们现在就知道了，经常使用的如文心一言、Kimi、智谱清言、讯飞星火、天工、......、等AI工具，都是对预训练好的基座大语言模型进行微调后，适合聊天和回答问题的垂直领域大模型。?

人工智能的突然涌现请同学们先看一个中央电视台关于人工智能领域发生重要技术变革的短片。

人工智能的突然涌现涌现就是在复杂系统中，随着组件数量的增加、交互作用的增强，系统突然展现出全新的、无法简单归因于单个组件的集体行为或功能。在人工智能领域，近几年大语言模型（如GPT系列）的出现，导致了AI的突然涌现，甚至在某些任务上已经超越了人类。而且，随着大语言模型参数量的增加，模型的性能和泛化能力都会显著提高。

人工智能的突然涌现GPT-3.5和GPT-4.0智能水平对比项目GPT-3.5GPT-4.0模型类型自然语言处理多模态功能文字问答剧本写作看图作答文字问答数据推理分析图表角色扮演能处理的文字长度3000字25000字考试能力词法考试倒数10%SAT数学考试590分生物奥赛前69%词法考试前10%SAT数学考试700分生物奥赛前1%

人工智能的突然涌现李开复：在过去一两年、模型从不好用、到好用、到大部分领域超过了人类。智能的突然涌现引发了对智能本质的深刻思考，这是一个引人入胜且充满哲学意味的话题，它关注了智能如何在某一时刻或阶段迅速出现并表现出高度的复杂性和适应性。智能的突然涌现挑战了人们对智能的传统理解，即智能不仅仅是计算和算法的堆砌，而是一种更为复杂和多维的现象。杰弗里·辛顿认为，AI的发展具有巨大的不可预测性，AI的直觉和创造性不应该被低估。

思考和讨论杰弗里·辛顿最近说过一段话：记忆不是存储在某个地方可以检索的文件。我们的大脑是以权重的形式储存知识，它们使用这些权重来重构事件。如果事件是最近的，那么重构通常相当准确。如果事件是旧的，我们通常会在很多细节上出错，但却由于对这些细节充满信心而意识不到。聊天机器人更不擅长虚构，他们比人更会经常胡言乱语，他们不知道自己在做什么，但他们一直在进步，我想用不了多久，聊天机器人在虚构方面不会比我们差多少，但他们口述的事实并不表明他们不理解，或者他们与我们不同，这说明他们和我们很像。

思考和讨论现在的大语言模型就是按照权重将几乎人类的所有知识都进行了存储，当人类有问题时，他们使用这些权重来重构答案。与杰弗里·辛顿对人脑的记忆重构的观点是一致。那么，可不可以说，现在的大语言模型就是人工智能的基本形式呢？或者说，一切的人工智能最后都是以大语言模型的形式体现呢？

拥抱AI拥有未来