重新认识大语言模型.pptx

6个月过去了，重新认识大语言模型徐文浩2023-10-18

我是谁？?AIGC再创业中?专栏「AI?模型之美」的作者?2010年开始做基于?数据和机器学习的?告算法?2016年创业做智能聊天机器??「深?浅出计算机组成原理」的作者?「?数据经典论?解读」的作者

有问题，咱弹幕?分享后回答?家的问题

?OpenAI最新的产品更新与体验?AdvancedDataAnalysis?GPT4-VDALL-E3?FunctionCall和全新的Fine-Tune界面?基于Llama-2的开源大模型的进展与差距?蒸馏GPT-4的Orca数据集和模型微调的进步?VLLM这样方便运用的推理框架

OpenAI最新的产品体验

OpenAI最新的产品体验ADA-从AdvancedDataAnalysis开始

?AdvanceDataAnalysis本质上，只是多了pandas库的Agent?从“智能”的角度来看，仍然只能作为我们的助手?但是，Chat这个“持续对话”的界面极大地提升了产品的可用性

DALL-E3

?模型可控性有进步（对比DALL-E2）?NSFW过于严格，非常不可用?视觉美观上，主观感觉仍然落后于Midjourney和StableDiffusion?Chat这个“持续对话”的界面极大地提升了产品的可用性

GPT4-V

?容易产生的一些想法：?就是多了些描述图片的功能，没啥用?实际上？?让我们来看一看

让GPT4-V帮我画页面

?进一步提升了生产力！?多轮聊天的交互体验，仍然是GPT4-V能有好的体验的重要环节?有机会通过端到端的方案解决更复杂的问题（比如，自动驾驶）?接下来的最大挑战是成本和性能问题?多去尝试，可以试试和ChatGPT的App对话，语音合成的效果也令人震惊

OpenAIPlatform的功能变更体验functioncall

提示语：这是?户的问题：{{question}}这是通过Wolfram拿到的答案：?户的问题计算过程和答案提示语：{{answer}}这是?户的问题：{{question}}请看?下是否回到了问题，并且输出问题的答案我们有以下这些?具：1.WebBrowser：可以访问?络进?搜索的浏览器2.Wolfram：可以进?各种计算、数学，并且能够精选知识选择了Wolfram输?：flighttimefromShanghaitoBeijing给到?户的最终答案我们应该选?哪个?具？以及给予这个?具什么输?？

FunctionCall也是一样的

OpenAIPlatform的功能变更体验无需编程的fine-tune

开源模型和社区的进展

?围绕Llama-2的生态迅速繁荣?Qlora，Vicuna，OpenOrca?修改几行代码就能进行模型微调，模型微调的技术门槛接近于0?SizeMatters，简单微调的70B也比精心训练的7B好?DataMatters，训练数据的质量非常重要

?指令微调，请ChatGPT当老师?不光要给答案，还要给解释?先学习简单的问题（GPT-3.5生成的指令），再学习复杂的问题（GPT-4生成的指令）?大力出奇迹！?Vicuna7万条数据?Orca500万条数据（400万条GPT3.5，100万条GPT-4）

厉害的开源模型

不只是微调

?开源的数据与数据工具–OpenOrcaairoboros?开源的基座模型–LlaMa2，Falcon180B，Mistral7B?开源的微调代码–Vicuna，LM-Flow?开源的数据评估–lm-evaluation-harness?开源的高性能部署–VLLM

以及更多

LLM即压缩理论视觉多模态LLaVaAgent应用AutoGen

选择一个你感兴趣的主题深入下去动手才是追赶时代的最佳方案

答疑环节请发弹幕提问

感谢观看徐文浩2023-10-18