大模型：从单词接龙到行业落地.pptx

;

人工智能前夜：图灵测试

o图灵测试会在测试人在与被测试者(一个人和一台机器)隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。

o问过一些问题后，如果超过30%的答复不能使测试人认出哪个是人、哪个是机器的回答，那么这台机器就通过了测试，并被认为具有人类智能。;

人工智能前夜：图灵测试

o在提出图灵测试的《计算机器与智能》一文里，图灵描述了想象中

未来的智能计算机测试可能的样子（人提出问题，计算机回答）：;

大模型与图灵测试;

大语言模型：单词接龙;

话0.2

杨老师周一晚讲课0.4

大0.4;

杨老师周一晚讲大;

0.1

0.70.2;

大语言模型：单词接龙;

单词接龙：通过条件概率计算实现

o给定上下文（Context），计算下一个生成词（Token）的概率

o根据所计算的条件概率进行采样获得生成词，拼接至上下文末尾，并预测下一个生成词，直至生成一个结束符（End-of-Sequence,EOS）

o利用Transformer计算条件概率;

断桥残雪在哪？

断桥残雪在哪？杭断桥残雪在哪？杭州

11;;

杭州是中国浙江省的省会城市，是一座历史悠久且富有文化的城市，被誉为“人间天堂”。它位于中国东南沿海的长江三角洲经济区，拥有丰富的自然景观和人文遗产。

杭州以西湖著称，西湖是中国著名的风景名胜，也被列入了世界文化遗产。除了西湖，杭州还有其他许多著名的景点，如京杭大运河、钱塘江、灵隐寺、断桥等。;

如何培育小火龙，成为宝可梦世界冠军？;

如何培育小火龙，成为宝可梦世界冠军？;

如何培育小火龙，成为宝可梦世界冠军？;

预训练的优势：从训练的角度

预训练数据：网页、书籍、新闻、对话等多种类型的无标注数据;

杭州

冬季;

监督微调（SFT）：通过经标注的[输入-输出]对数据调整模型部分参数，优化特定任务性能指令微调（InstructionTuning）：通过[指令-输出]对使模型泛化到未见过的指令

5%;;

中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心;

如何让大模型输出更好的结果？;

单词接龙;

如何让大模型输出更好的结果？;

偏见

性别偏见

此外还有语言、政治、文化、社会经济等所引起的偏见;

外部数据库问题检索LLM生成;

使用案例;

明确信息的来源，提升可解释性

利用外部数据源补充长尾知识

利用互联网保持信息及时性;

有效“咒语”;

“快思考”模型答案生成方式：;

S1-32B（SFT+budgetforcing）:通过接龙”wait”引导模型进行自我反思;

如何训练大模型自主生成思维链

标注！;

小火龙，躲开后用喷射火焰！;

监督学习Vs.强化学习;

奖励（Reward）;;

奖励;

38;

合规

审查;

能源消耗交通流量经济变化天气变化疾病传播;

1;;

历史预测

癫痫

癫痫

正常;;

个体层面的泛化;

情绪识别;

?更丰富的信息

?更庞大的记录;

□脑信号的扩散：脑信号被认为在不同脑区之间传播。

–脑波活动的传播路径是统一建模脑信号的关键因素。;

?Brant1.0在一个1.01TB的颅内数据集上进行了预训练

?能够捕捉长期时间依赖性和空间相关性

?在个体水平和任务水平上都具有泛化能力;

?DaozeZhang*,ZhizhangYuan*,YangYang,JunruChen,andYafengLi.Brant:FoundationModelforIntracranialNeuralSignal.InNeurIPS,2023.;

对脑信号进行预训练;

电力系统中的挑战

数据下游任务;

不同行业之间的差异;

PowerPM：电力系统基础模型

通过捕捉行业之间的上下游关系