生成式人工智能内容可信度评估指标体系报告.pdfVIP

38

Researchof

RadioTelevision

新质生产力:

AIGC使用与治理

报告发布

生成式人工智能内容可信度评估

指标体系报告（演讲版）

■禹卫华

2023-2024年间，生成式人工智能迅猛发展。从技术逻辑的角度来讲，大模型是中间件，前端

是它的数据来源，后端是用户得到的内容。目前，研究的重点往往聚焦在大模型，也就是中间件

上。但是，用中间件来代替前端内容可能出现的风险，对生成式人工智能未来的发展存在着一个巨

大的隐患。

对生成式人工智能生成出来的内容从可信度的角度进行评估，是我们这个项目的初衷。Trust

worthyAI，这是世界上的一个共识，从欧盟到经合组织，到美国相关的技术部门，统统都认同世

界AI的未来一定是基于可信的，而不是可用的。

生成式人工智能面临的困境

一个可用的人工智能和一个可信的人工智能，是两个概念，所以我们是建立在可用的基础上迈

向可信。首先，人类社会进入智能社会的理念被广泛接受；其次，人工智能本身存在原生数据风险。

基于生成式人工智能的技术逻辑，无论是openAI还是中国的大模型，它所有的数据都是来源

于互联网在中国的数据。那么，作为主要来源的数据包括什么？是从哪里获得的呢？

第一个是知乎，第二个是百度文库，在代码上就是csdn，所以它本身的原生数据的来源就可能

存在问题，在生成的过程中以及生成的结果上，它的信赖程度其实是要打问号的。

第三个，当前我们的生成式人工智能，它不告诉你这个是reinforcementlearning（强化学

习）还是machinelearning（机器学习）还是怎么来的，他更多地告诉你你要被代替了，你要怎么

样，这是一种营销的方式，而不是一种科学的方式。作为学界，从一个比较中性或者理性的角度来

39

上海广播电视研究

长焦镜

看生成式人工智能的治理，我们要回归的是科学的传播，而不是被它的营销所困惑。营销导致用户

忘记了思考生成式人工智能的数据来源，忘记了使用生成式人工智能可能存在的问题，所以这就是

我们今天面临的第三个困境。

第四个困境是一个案例，交通大学的一个教授的儿子，今年11岁上五年级，老师要求他写一个

科学报告，他不会写，就拿着妈妈的手机生成了一个2000字的报告，然后拿给他妈妈看。他妈妈本身

是这个领域的专家，首先感到非常震惊，孩子能够用生成式人工智能的方法把它生成出来；再仔细看

下去之后，她发现他儿子的第一篇科学报告里面错误百出。这就是促使我们做这个事情的出发点。

为什么要做内容的可信度研究？

因为生成式人工智能并不是我们想象的那么美好，它的大模型也没有我们想象的那么强大，它

的数据来源依然还有很多风险，所以我们要制定一个评估标准。评估不是阻碍技术发展，而是让它

平稳的发展，让它在一个比较理性、稳定、科学的领域去发展。

“可信”这个词最早不是用来形容生成式人工智能的，而是在形容AI这个系统，或者说可信

的AI系统。今天我们说的是AI生成出来的内容的可信，这是两个概念。可信的系统，指的是什么？

用理工科的话语来说，它

指的是稳定性。比如欧盟

组织、美国的技术评估组

织，还有IBM公司其实都

对AI系统有了完整的可信

度评估系统了。在内容的

可信度评估方面，我们开

始研究的时候，无论国内

还是国外，关注的人都比

较少，因为那时候的关注

重点是在系统自身的稳定

性上。

40

Researchof

RadioTelevision

新质生产力:

AIGC使用与治理

首先，人类社会交流的基础是信任。未来，AI技术人人都能用，但是它是否值得信赖，需