ChatGPT-真格基金分享.docx

ChatGPT

林惠文@真格基金

体验ChatGPT

与GPT-3的对比

与GPT-3的对比

与GPT-3的对比

强烈建议体验

https://mirror.xyz/

0x6E1211dfcc20c75440E0B3c10721f5/9O9CSqyKDj4BKUIil7NC1Sa1LJM-3hsPqaeW_QjfFBc

ChatGPT提升的核心点

?敢于质疑不正确的前提

?主动承认错误和无法回答的问题

?大幅提升了对用户意图的理解

?大幅提升了结果的准确性

提升?类意图的?致性

连续多轮对话能力

提升的原因

加入了基于人类的反馈系统

丛问题库里抽取问题

丛问题库里抽取问题

什么是香蕉？

什么是香蕉？

写期待的回复标记者（Labeler）书

写期待的回复

香蕉是一种水果，从香蕉

香蕉是一种水果，从香蕉

树….

被标记的数据用来调优

GPT-3.5

ReinforcementLearningfromHumanFeedback

什么是香蕉？采样问题，并列出所有模型和标记者的回答

什么是香蕉？

香蕉是芭蕉科、芭蕉属植物

香蕉是芭蕉科、芭

蕉属植物...

香蕉是一种水果，从香蕉树….

香蕉，从属性来

香蕉，从属性来说，与草莓、葡萄、猕猴桃是亲…

香蕉为芭蕉科植物

甘蕉的果实。原产

亚洲东南部…

标记者（Labeler）排

序所有标记着答案

用排序答案训练

奖励模型

通过模型生成初步回答

输入奖励模型得到分数和优化参数

写个水獭的故事

写个水獭的故事

很久很久以前...

很久很久以前...

持续优化参数迭代

往前捋捋

chatGPT

GPT-1GPT-3GPT-2

GPT-1

GPT-3

GPT-2

InstructGPT

2018201920202022

1.17亿参数

15亿参数

1500w美金1750亿参数

再往前捋捋

chatGPT

DecoderGPT-1TransformerGPT-3InstructGPTT5M2m-100BigBirdBERTXLMALBERT

Decoder

GPT-1

Transformer

GPT-3

InstructGPT

T5

M2m-100

BigBird

BERT

XLM

ALBERT

GPT-2

BART

RoBERTa

Encoder

《AttentionisAllYouNe

《AttentionisAllYouNeed》

ELECTRA

GPT-1GPCNN卷积神经网络T5BRNN循环神经网络BERTRoB▲继续再往前捋捋

GPT-1

GP

CNN

卷积神经网络

T5

B

RNN

循环神经网络

BERT

RoB

▲

Transformer

1990开始-2006突破-2015繁荣2017开始

基于规则继续再往前捋捋

基于规则

机器学习

1950开始1980开始

CNN

CNN

卷积神经网络

RNN循环神经网络

RNN

循环神经网络

GPTT5BER▲

GPT

T5

BER

▲

Transformer

1990开始-2006突破2017开始

基于规则发展趋势

基于规则

机器学习

手写规则，简单粗暴只能处理非常少量数据找到一些

手写规则，简单粗暴只能处理非常少量数据

神经网络

像人脑一样学习开始尝试大量数据

Transformer

优化人脑学习过程关注重点而非全部

分类黄豆和绿豆

提前标记一些数据

根据大量数据分类学习一个复杂的参

数集合

发展趋势

神经网络

像人脑一样学习

提前标记一些数据

根据大量数据分类学习一个复杂的参

数集合

Transformer

优化人脑学习过程关注重点而非全部

GPT3

投喂

海量的学习数据

无需分类数据

1200万美金

ChatGPT

人对结果的反馈

成为学习过程的一部分

算法+

算法

+

数据量

既要聪明，又要努力

算法+

算法

+

数据量

ChatGPT：

每走一步都观察人类反馈朝着人类期望的方向进发

脑洞思考

GPT3ChatGPT-？基于人类反馈的训练方法

GPT3

ChatGPT

-？

能否拓展到更多领域？比如情感？

的学习数据的学习过程人对结果的反馈

的学习数据的学习过程