大语言模型核心技术全景与工程实践.pptxVIP

技术白皮书大语言模型核心技术全景与工程实践架构演进·Prompt工程·高效微调·模型编辑·检索增强日期2026年9月

内容导航01语言模型基础从n-grams到Transformer的演进脉络02大模型架构三大主流架构对比与代表模型03Prompt工程上下文学习、思维链与实用技巧04高效微调参数附加、参数选择与低秩适配05模型编辑定位编辑法与精准知识修正06检索增强RAG架构与幻觉治理方案

CHAPTER01语言模型基础语言是概率的，模型是预测的从统计方法到Transformer，语言模型的三次范式跃迁

语言模型的演进主线语言是概率的，模型是预测的从呆板的机械问答程序，成长为具备强大泛化能力的多任务智能模型本章按发展顺序展开，并介绍解码与评测方法演进三阶段1规则模型ELIZA→2统计模型n-grams→3神经网络模型RNN与Transformer本章顺序n-grams→RNN→Transformer

n-grams的统计原理与困境核心判断n值是泛化与拟合的天平统计原理与泛化能力n-gram指长度为n的词序列，通过统计词序列在语料库中的相对频率预测概率理论基础：n阶马尔可夫假设+离散变量极大似然估计泛化能力：bigrams可预测语料库中未直接出现的「长颈鹿脖子长」，概率为0.0401零概率困境与平滑缓解零概率困境：trigrams下该文本