AIGC如何赋能文娱行业.pdfVIP

CONTENTS 目录 1. ChatGPT和AIGC概况 2. AIGC如何赋能文娱行业 3. AIGC+游戏 4. AIGC+内容 5. AIGC+文旅科技 6. 投资建议 7. 风险提示 附表 相关标的 3 qRpMtOrQrOwPtMoMnRrOmN8OcM9PoMrRmOnOkPnNnPlOnPnNaQmNsPxNsQqQxNqQmO 1.1 ChatGPT概况  ChatGPT是一个基于自然语言处理和深度学习技术的大型语言模型。2022年11月30 日，美国人工智能研究实验室OpenAI发布了一款全新的聊 天机器人模型——ChatGPT。其中， “GPT”指生成式预训练语言模型 （Generative Pre-Trained Transformer）。ChatGPT可以自动学习大量 自然语言数据从而实现模拟人类语言交流的功能，它不仅可以理解人类语言并进行问答对话，而且还能够创作文本，辅助人类完成文案写作、 翻译服务、代码编写等一系列任务。  ChatGPT在GPT-1到GPT-3的基础上发展而来，双向语言处理能力不断增强。根据中国电子企业协会和OpenAI官方，从GPT-1到GPT-3 ，模型 的参数量实现了由1.17亿到1750亿的爆炸性增长，预训练数据量从5GB到45TB ，基于模型规模的巨大增长，模型效果显著提升，应用领域得 到拓宽。ChatGPT延用InstructGPT /GPT3.5的架构，即在GPT-3的基础上加入人类反馈强化学习 （RLHF），但在数据收集和训练方面存在差 异：在InstructGPT/GPT3.5中，一个输入对应一个输出，通过人类反馈的奖惩机制来训练模型；而在ChatGPT中，一个输入对应模型的多个输 出，通过人类对输入结果排序来训练模型，这极大程度地提高了双向语言的处理能力，是ChatGPT的核心改进之一。 GPT家族主要模型演进过程 GPT-1 （2018,1.17亿参数量） GPT-2 （2019,15亿参数量） GPT-3 （2020,1750亿参数量） InstructGPT/GPT3.5 （2022） ChatGPT （2022） 12层Transformer ，每层12个注意头 InstructGPT/GPT3.5与GPT-3的主 ChatGPT基于GPT-3.5架构，并 在GPT-1的基础上GPT-2做了以下改进： 在GPT-2的基础上GPT-3做了以下优化： 要区别在于： 做以下优化: ① GPT-2有48层，使用1600维 ① GPT-3有96层。每层 ① 新加入RLHF （Reinforcement ① ChatGPT 使用来自人类反馈 向量进行词嵌入 有96个注意头 Learning from Human 的强化学习进行训练 ② 将层归一化移动到每个子块 ② GPT-3的单调嵌入大 Feedback，人类反馈强化学 ② 通过近端策略优化算法进行 的输入，并在最终的自注意 小从GPT-2的1600增 习），这一训练范式增强了人 微调，为信任域策略优化算 块后增加一层归一化 加到12888 类对模型输