高教社2025人工智能与未来教学课件11.2 超级智能和超级对齐.pptxVIP

TheFuturetechnologyofartificialintelligence第11章未来技术2035主讲：王红梅

11.111.211.311.4人工智能安全技术超级智能和超级对齐脑机接口奇点到来和通用人工智能目录CONTENTS

如果人类的进化符合达尔文的适者生存原则，那么人工智能的成长是否有标准呢？

对齐、超级对齐就是基于这种背景下运用而生，也就是说当超级智能来临时也需要有超级对齐来匹配，超级智能超级对齐那什么是对齐，什么是超级对齐呢？对齐的对象是什么？如何对齐？

11.2.1对齐11.2.2超级对齐

11.2.1对齐对齐这个概念是OpenAI首先提出的，是指在GPT中，大模型生成的语言文字内容既要合法又要符合道德标准，避免触碰言论红线。

11.2.1对齐自GPT2开始，采用有监督微调（SupervisedFine-Tuning，简称SFT）和人类反馈强化学习（ReinforcementLearningfrom?HumanFeedback，缩写RLHF）进行对齐。GPT大模型训练中的对齐预训练有监督微调（SFT)人类反馈强化学习（RLHF)

11.2.1对齐预训练阶段会消耗大部分算力资源，主要是使用大量的数据反复训练才获得足够聪明的大模型。但是由于人类社会本身就包括可能“有毒”的大量数据，又不能筛除掉