- 1、本文档共197页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
AI提示工程基础?应用?实例
;
醒醒,开始了!;;
;
第一章智领未来——走进大语言模型
1.1人工智能的发展历程
1.2机器学习与深度学习
1.3自然语言处理
1.4大语言模型;
人工智能已经从实验案例的可能性演变为各行各业的必选项;
机器学习
机器学习的本质是寻找函数的能力。
大数据是机器学习应用的最佳场景。
常见的机器学习算法包括有监督学习(如决策树、支持向量机、朴素贝叶
斯、神经网络)、无监督学习(如聚类、降维)和强化学习等。
机器学习的工作方式将特征表示和分析处理分离,因此它能够快速应用于各种领域。;
大语言模型
大语言模型实质是一个概率模型,它定义了在给定前面词语的条件下,后面词语出现的概率
。
比如,在句子“我喜欢吃苹果”中,模型可能学到在“我喜欢吃”后面出现“苹果”的概率很大。
语义信息可以用1000~10000次元的词向量表示,即使在只有1000个维度而且每个维度只能取-1或1两个值的情况下,也可以表示约
21000210800个不同的词向量。相似词词向量之间数值距离较近。;
Transformer构建一个庞大而全面的词共生关联网络图,其中包含了词与词之间的共生关联关系,这种关联关系也被称为注意力。
注意力机制解决了词与词之间的长距离依赖问题
基于Transformer架构的大语言模型的关键创新在于通过计算每个词与句子中的所有其他词之间的相关度,确定该词在句子中更准确的语义表示。;
1.3自然语言处理;
神经机器翻译
(1)分词:将中文句子分割为单个词语单位。
(2)生成词向量:为每个中文词生成固定长度的数字向量,该数字向量记录了词的语义信息。
(3)编码:采用由一系列计算模块串联组成的编码器网络,分别处理每个词向量,并输出一系列中间状态向量。这个过程类似于解析句子的语法结构和词语顺序。
(4)解码:采用由多个计算模块构成的解码器网络
(5)生成翻译:将解码器网络生成的英文词向量转换为英文单词,并将它们拼接在一起,形成最终的翻译结果。;
1.3自然语言处理;
1.3自然语言处理
通过对已有文本的学习,大语言模型可以预测下一个词或短语,并逐步形成连贯的文本。;
1.4大语言模型
大语言模型的发展可以按照GPT、T5和BERT三个分支进行划分,这些分支代表了不同的模型架构和任务目标;
在人类语言中,我们使用字母、单词、句子、段落和文本来表达意义和传递信息。
在像ChatGPT这样的大语言模型中,语言被表示为标记(Token)的形式。
大语言模型通过对输入文本进行标记化,将文本划分为一系列标记,并将其转化为模型能够理解和处理的数字表示形式。;
1.4大语言模型;
1.4大语言模型
在生成任务中,模型接收一个起始文本序列作为输入,并逐步生成下一个单词,直到生成完整的文本序列。在此过程中,模型对输入文本进行编码,然后通过自回归方式生成下一个单词,直至完成整个文本序列的生成。;
1.4大语言模型;
GPT-3大约精读了
4990亿个字,是一个人一生阅读量的14.25倍,也就是说,普通人(已经是阅读时间和效率超高的水平)要活
14.25次才能达成GPT-3的阅读量。;
1.4大语言模型;
1.4大语言模型;;
训练过程;;;
本章结束;
;
第二章提示工程概述
2.1提示工程的概念和作用
2.2提示信息的设计原则和框架 2.3提示工程在AIGC中的应用 2.4提示信息的评估;
OpenAI的首席执行官萨姆·奥尔特曼指出,编写一个
优秀的聊天机器人角色提示信息是一项非常高效的技能,同时也是自然语言编程的一个早期示例。
提示信息被视为一种基于人工智能的“编程
技能”,其显著特征在于“非常高效”,也就是说熟练掌握该项技能能够大幅提升效能;
提示信息作为自然语言编程的一种早期实践,提供了一种更为友好且更接近自然语言的通信媒介,提示信息可以被视为一种基于自然语言的编程语言。;
2.1提示工程的概念和作用;
2.1提示工程的概念和作用
提示工程的核心概念是在生成任务中引入明确的提示信息,以指导模型的输出。这些提示信息包括文本形式的指导语句、示例输入和输出对、填空式的占位符或引导问题等。
填空式提示信息:使用特定的占位符或标记替换关键信息,模型根据占位
文档评论(0)