20230206-AI行业系列点评-ChatGPTAIGC九问九答-申万宏源-12页.pdfVIP

行

业

及

产

计算机

业

2023年02月06日

行ChatGPT/AIGC九问九答

业

研

/

究看好——AI行业系列点评

行

业

点

评

相关研究

本期投资提示：

计算机主线会持续吗？AIGCFAQ几大

问题！-计算机行业周报近期市场对于AIGC/ChatGPT关注较高，投资者常见以下问题。

证202302032023年2月4

券日Q：大规模预训练模型（大模型）与小模型的核心区别？相比小模型，大模型有什么优势？

研

究数字经济+chatGPT+港股科技，均预首先最核心区别在于参数量，例如GPT-3参数量达到了1,750亿个，是传统深度学习小模

报示科技全面机会！-计算机行业周报型参数量的至少一万倍以上。通过模型的扩大，可以带来提升包括：1）GPT-2等大模型

202301202023年1月29

告舍弃了小模型中常见的调参过程，转向无监督训练；2）在NLP中常见小模型需要对不同

日

的任务使用不同模型分别训练解决，而GPT-3等大规模预训练模型不再规定任务，而是对

不同任务都有较好效果；3）GPT-3先使用海量数据预训练大模型，得到一套模型参数，

证券分析师然后用这套参数对模型进行初始化，再进行训练。大幅降低后续对数据量的需求。

洪依真A0230519060003

hongyz@Q：GPT-3等大模型和Transformer的关联？GPT/Bert等大模型都在自然语言领域应用。

林起贤A0230519060002而Transformer是目前NLP领域效果较好的深度学习模型，因此GPT/Bert等都使用了

linqx@

刘洋A0230513050006Transformer。Transformer最大的特点是，可以让每个单元都可以捕捉到整句的信息，

liuyang2@这也是RNN/LSTM等更早期NLP模型无法做到的一点。

联系人

洪依真Q：Transformer对于CV机器视觉可以有类似NLP的提升吗？实际上2017年

(8621transformer推出之后，2018年就有学者将其应用于CV图像领域，但当时应用效果未发

hongyz@现相比传统CNN等算法有较大提升。但在2021年后，随着swintransformer、mae等

论文推出，transformer在CV和跨模态等应用增加。因此国内擅长CV的AI公司，在2022

年前对于基于transformer的大模型关注投入较少，但是我们认为随着VIT等效果提升，

应用类的CV公司也会开始关注并投入大模型。

Q：国内transformer大模型做的怎样？如何看待中美技术差距。首先需要承认这一类大

模型底层创新在美国开始。中国在2021