AI大模型落地的前景和痛点，兼谈工程师架构师所面临的机会和挑战-2024.08-43正式版.ppt

ArchSummit全球架构师峰会AI大模型落地的前景和痛点兼谈工程师、架构师所面临的机会和挑战深圳2023｜07｜21李维NLP科学家出门问问VP

自我介绍一下“李维NLP老司机、劳碌命，前讯飞AI研究院副院长，出门问问VP。Netbase前首席科学家10年，指挥研发18种语言的社会媒体舆情系统，成为美国NLP产业应用的经典成功案例。Cymfony前研发副总，获第一届问答系统第一名，赢得17个SBIR小企业创新研究项目

Outline大模型风暴01大模型之炼0203大模型与AIGC

人类语言通天塔的建成巴别塔建成日：公元2022年11月30日

为什么说建成了人类语言的通天塔？比native还native理解能力输入能听LLM“劳碌命”输出会说生成能力

极其简单的原理自学习、预训练、生成式AIThebestthingaboutAIisitsabilityto（自回归GPT系列）ThebestthingaboutAIisitsabilitytounderstandThebestthingaboutAIisitsabilitytounderstandworldsThebestthingaboutAIisitsabilitytounderstandworldsthatThebestthingaboutAIisitsabilitytounderstandworldsthatareThebestthingaboutAIisitsabilitytounderstandworldsthatareboth“大号”的N-gram模型ThebestthingaboutAIisitsabilitytounderstandworldsthatarebothexciting…………给定上文，预测下一词：nexttokenprediction

大力出奇迹——千（万）亿级字词/千亿级参数RawLLM文字序列多维向量corpora自学习生成式AI（自回归GPT系列）

LLM任务开放WaymoreOpen-ended

借用陆奇：WeAreHereCF:Web-1age

人工智能当代简史11年前的第一次AI深度神经革命，聚焦感知，靠的是带标大数据有监督训练。5年多前的二次AI深度革命，NLP大模型（LLM）为旗帜，AI从感知到认知，靠的是自监督预训练。半年前通天塔的三次AI革命，搞定了自然语言交互，以ChatGPT为里程碑。

ChatGPT：几乎完美的人机自然语言接口FewShotsZeroshotZeroshot/零样本：不依赖标注大数据，克服知识瓶颈机器迁就人，而不是人迁就机器海量样本标注少样本标零样本标注

ChatGPT能力测试人类知识客户调查部分人类知识用户粘性、增长性LLM语言知识利用已有测试：NLP测试集，高考，各资格考试Zeroshot开放类任务理论上没有测试集，无法定量数据质量（QA）

机器迁就人的结果：人皆码师码农贵族、产品经理/CXO、数据分析员、用户群体：底线拉平，LLM听得懂所有人的指示为“万众创业”创造了条件

NLP“核爆炸”及其影响新突破导向新生态ChatGPT建成语言通天塔GPT洗礼后的新生态建设?语言大模型搞定人类语言?标志感知智能走向认知智能：语言+知识?LLMCoPilot落地，AIGC前景广阔?用户接口：交互克服人工智障?机器迁就人，而不是人迁就机器?实体交互方式的革命：不仅仅是人机?语言模型蕴含了知识模型，虽然并不完备?LLMAgent研究值得关注

大模型时代的挑战模型痛点、领域挑战?幻觉问题?谁调用谁：插件与外挂?稳定性问题?知识欠缺问题?多模态问题?领域数据库、业务逻辑、私有数据?自主AI研究：Agent?与现有领域Legacy系统的关系

大模型时代的焦虑架构师/工程师焦虑：youarenotalone！?一夜醒来，专业没了?工作被取代？?有说：半年前的专业经验是负资产?AI系统的涌现，资源的爆发?百花齐放，AI日新月异?艺术被颠覆？?知识更新跑不赢知识增长

“幻觉”：是LLM内在feature不是bug幻觉与想象力是同义词?“一正胡八”：说谎不“脸红”，真假莫辨，极度误导?有利于艺术创造任务，却是领域落地的命门?加大模型可以减少幻觉，不能根治幻觉?强化学习可能医治“一本正经”，不能根治“胡说八道”?领域场景解决方案：外挂数据库?没有“幻觉”，如何讲“故事”（cf《人类简史》）?写小说，不是报道新闻：记者