生成式人工智能赋能智慧司法及相关思考.pptxVIP

生成式人工智能

赋能智慧司法及相关思考;

l生成式人工智能发展脉络

l生成式人工智能赋能智慧司法

l生成式人工智能的不能;

什么是人工智能？什么是生成式模型？;

?人工智能（ArtificialIntelligence）：是以机器为载体所展示出来的人类智能，亦称为机器智能（MachineIntelligence）

?让机器模拟人类在视觉、听觉、语言和行为等方面的某些功能;

生成式模型

?学习“数据如何生成的”（联合概率分布）

?目标：学习数据背后的“完整故事”，包括数据的分布规律，甚至能自己“编故事”（生成新样本）。

?像什么：一个画家，不仅会判断“这是猫还是狗”，还能亲手画出一只猫或狗。

?怎么做：先分别学习猫和狗的特征（比如猫的尖耳朵、狗的尾巴形状），然后建模它们的整体分布规律。;

6;

生成式人工智能技术，是指具有文本、图片、

音频、视频等内容生成能力的模型及相关技术。

《生成式人工智能服务管理暂行办法》;

n生成式人工智能的典型代表：ChatGPT

nChatGPT：大数据+超算力，现象级AI应用引发范式革命;

?核心突破：基于Transformer解码器架构，采用“无监督预训练+任务微调”的训练模式，参数1.17亿。

?任务微调指在预训练模型的基础上，使用特定任务的数据继续训练，来优化其在目标任务上的性能。通俗来说，就是给一个“什么都会一点但不精通的通才”做专项特训。

?能力特点：掌握基础语义规律，但生成文本较机械，像刚学会造句的小学生。;

?规模升级：参数增至15亿，训练数据扩展至40GB网页文本。

?技术亮点：证明了无需任务微调即可完成翻译、摘要等任务，生成文本连贯且富有创意，如撰写短篇小说。

?社会争议：因可能生成虚假信息，OpenAI一度限制其开源。;

?参数跃迁：1750亿参数创纪录，训练数据涵盖45TB互联网内容。

?能力质变：

a.少样本学习：对于一个全新的任务，只需要给其提供1-5个示范案例，AI就能根据原有知识，迅速掌握全新的技能任务

b.通用性突破：具有卓越的语言理解能力，和一定的归纳、演绎逻辑推理能力。

?局限性：存在“幻觉”问题，可能编造看似合理但错误的内容。;

?ChatGPT（2022）：对话式AI的里程碑

?技术革新：基于GPT-3.5，引入三阶段训练：

a.海量文本预训练：构建语言知识库；

b.人工标注示范：学习对话礼仪与安全准则；

c.人类反馈强化学习：通过人类反馈减少无益、有害输出。;

?架构升级：参数规模上，1.8万亿参数，采用混合专家（MoE）架构提升效率；多模态融合上，支持图像输入与文本生成，如解析医学影像生成诊断报告。

?能力跃迁：GPT-4在美国法考、GRE、SAT等排名提升至人类考生前10%水平；在法律、医疗等垂直领域表现接近人类专家。;

原话：一辆列车缓慢行驶在崎岖的山路上

移除单词：一辆列车行驶在崎岖的山路上

预测填空：一辆列车缓慢行驶在崎岖的山路上;

l情感预测任务。输入：“Imissedthebustoday.Ifeltso___.”其中“Ifeltso”就是提示词（prompt），然后使用大模型用一个表示情感的词填空。

l翻译任务。输入：“English:Imissedthebustoday.French:___.”其中“English:”和“French:”就是提示词，然后使用大模型应该再空位填入相应的法语句子。;

GPT的训练三板斧之三:人类反馈下强化学习（尝试与探索）;

?数据：训练中使用了45TB数据、近1万亿个单词（约1351万本牛津词典所包含单词数量）以及数十亿行源代码。据估计全球高质量文本数据的总存量在5万亿token左右，人工智能算法可能在一个数量级内，耗尽世界上所有有用的语言训练数据供应。

?模型：包含了1750亿参数，将这些参数全部打印在A4纸张上，一张一张叠加后，叠加高度将超过上海中心大厦632米高度。

?算力：ChatGPT的训练门槛是1万张英伟达V100芯片、约10亿人民币，模型训练算力开销是每秒运算一千万亿次，需运行3640天（3640PetaFLOPsperday）。

?大数据、