传媒专属精调模型建设.docxVIP

传媒专属精调模型建设

大模型在落地应用时，容易出现幻觉，指令遵循效果差，而且很可能行业知识不足。

PromptEngineering：通过例如few-shotprompt的手段增强输出；

RAG（Retrieval-AugmentedGeneration）检索增强生成；

FT（Fine-tuning）：精调，对模型进行微调

综合手段：综合利用精调、提?工程和RAG

RAGVSFT

RAG

FT

数据

动态数据。RAG不断查询外部源，确保信息保持最新，而无需频繁的模型重新训练。

(相对)静态数据，并且在动态数据场景中可能很快就会过时。FT也不能保证记住这些知识。

外部知识

RAG擅长利用外部资源。通过在生成响应之前从知识源检索相关信息来增强LLM能力。它非常适合文档或其他结构化/非结构化数据库。

FT可以对LLM进行微调以对齐预训练学到的外部知识，但对于频繁更改的数据源来说可能不太实用。

模型定制

RAG主要关注信息检索，擅长整合外部知识，但可能无法完全定制模型的行为或写作风格。

FT允许根据特定的语气或术语调整LLM的行为、写作风格等指令遵循效果问题；

抑制幻觉

RAG本质上不太容易产生幻觉，因为每个回答都建立在检索到的证据上。

FT可以通过将模型基于特定领域的训练数据来帮助减少幻觉。但当面对不熟悉的输入时，它仍然可能产生幻觉。

透明度

RAG系统通过将响应生成分解为不同的阶段来提供透明度，提供对数据检索的匹配度以提高对输出的信任。

FT就像—个黑匣子，使得响应背后的推理更加不透明。

技术资源要求

RAG需要高效的检索策略和大型数据库相关技术。另外还需要保持外部数据源集成以及数据更新。

FT需要准备和整理高质量的训练数据集、定义微调目标以及相应的计算资源。

返回参数自由编辑指令支持多轮输入生成文本信息4-------

返回参数

自由编辑指令支持多轮输入

生成文本信息

4--------------

支持自由修改

API接入

调用简单

快速集成

应用场景

创作

视频脚本文章生成简历生成诗词古文旅游攻略朋友圈文案

视频脚本

文章生成

简历生成

诗词古文

旅游攻略

智能客服

智能客服

营销

通用广告文案社群营销小红书种草电商文案

通用广告文案

社群营销

效率

会议纪要信息摘要采访新闻智能翻译Prompt构造

会议纪要

信息摘要

采访新闻

智能翻译

精调面临的挑战

专业人才稀缺开发和落地对技术人才储备及技术能力要求高，

专业人才稀缺

开发和落地对技术人才储备及技术能力要求高，相关资源的缺失影响大模型在产业的快速落地和持续优化

计算资源少

对计算资源和存储资源有高需求，对很多客户来说门槛高，难以支持大模型的训练和推理

需要大量高质量数据进行训练和优化，经常会因为数据各类问题，导致大模型训练的效果和效率无法得到保障

平台工具

TI-DataTruth数据标注平台

TI-DataTruth数据标注平台

TI-Matrix应用平台

TI平台

TI-ONE训练平台

技术底座太极Angel加速组件

技术底座

太极Angel加速组件

行业大模型

金融大模型政务大模型文旅大模型

金融大模型政务大模型文旅大模型传媒大模型教育大模型…………

基础设施

高性能计算集群

高性能计算集群HCC

高性能网络：自研星脉计算网络架构

高性能网络：自研星脉计算网络架构

向量数据库

向量数据库

基底大模型（XX/开源）XX

基底大模型（XX/开源）

XX提供行业预训练大模型，降低训练成本

模型训练工具

（XX）

XX提供模型训练工具，快速上手训练

公有云

公有云

交付模式（公有云训练、私有化推理）

XX提供行业大模型，模型训练工具（TI-ONE）和模型训练专家咨询服务；

客户准备脱敏后的训练数据，在XX的模型训练工具上进行fine-tuning，生成客户专属大模型；

新模型部署在客户本地做推理使用；编辑老师基于输出结果做调整修改，不断积累反馈数据；

使用—段时间，积累—定量反馈后，可在公有云上进行迭代训练；

脱敏后的训练数据

公有云客户提供脱敏数据，进行模型精调

公有云

算力/存储资源

客户直接在TI-ONE公有云上购买好对应的机器资源