2023-07-11-中国工业互联网研究院-通用人工智能大模型工业领域知识问答性能评估_29页_3mb.docxVIP

GAII‘盅薯逞鼠熹橇蜃堑患咤

人工智能大模型作为实现通用人工智能的重要途径′正在对亘联网的关锂技术、架构体系、产业发展`应用市莫式产生变革性影响。近期在工业禾口信息化部科技司的揩导下_中国丁帅盲联网研究院依托通用人工智能与工业融台创新中心(筹蚤组′简称“中心″)′深入研究人工智能大模型在工业领域的应用性能、技术架构、标准

体系。

本撮告聚焦评迥‖人工智能大模型在中艾工业领域的知识问答能力′通过选取工业颉域典型的八大行业′枸建知识测宝式集′对国内外具有代表性的若干大模型进行孟平测选取性能前六名的模型进手予盆布′并发布前十名的数据′供业霁进行参考。

本振告评测结果虽经中心专家委歪人真子′仑证′但因大模型迭代速度快′评测结果仅适用于测置式期间。振告难免存

在分析结论片面与不足 欢迎大家批孟蒋旨正。

2

伊工业领域知识问答丑平钡魍方法

测试范围:选取工业领域/Uc?llk,

BAIT盅薯焉口睾熹橇熹甄蓥蔗

按行业构建行业知识测试集

01

01电子设备制造业:

03锢铁行业:

05电力行业:ff:-

06石化化工行业二

07建材行业:

08纺织薯壬业:

注二外部鬓姑雷荤原庄耍来自于国家权威题库、亘联网等并经过专家组评审。 4

工业领域知识问答章平测方法

BAIT盅薯愚蔫熹愤霹醛

综台评价指数分值分布

每个屯壹业抽取:

单选题(105题)

判断题(30题)

简答题(3题)

判断题分值分布

WE70%1

WE

70%

简答题

20%

综合评价指数得分:

??’l‘??kfé?a‘UH—{t?fi回归100分制。

汪:本测章式-一共约丨NOE-ii.

评分标准

客观题:单选题和判断题

答对手寻分′ 答错不得分。

主观题:简答题(4个维度每个5分)

′基础能力:完全符台题意巳分、符合题意4分、墓本符台题意己分、偏离题目2分、回答不棺关1分;

′ 语句能力:语句逼顺旦流畅曰分、语句通顺4分、语言墓本通顺己分、语言不通顺2分` 存在病句1分;

概括能力:言简意贿中心明确曰分、中心明确4分、中心墓本

明屁分、中心不明确吩、废店连篇曜瞳寸分;

逻辑能力:条王里茸仨常壹胃楚三氖 条王里清楚4分`条理墓本清楚3分`逻车置较为混乱2分`前后文无逻辑关系1分。

注:1主观题评价标准部分参考高考作文评分标准;

乙主灵见题由专家组成宝手审委员会针对剩莫型的回答钨壬集中评审;

三.本研究仅宅十对公开通用大眷莫型进芊于直接坝卧玉平对徵调后白勺模型不撤帼介. 5

_刘云麦告′ACM_

_刘云麦告′ACM

_

= Fellow, IEEEFe||0W′_

_长麦工学者′麦盲华大_学

_教授′创茅亡斤学乞院肛雀完长。|

GAII+?z?é???m??

_唐立新′中国工程院曹

n N』 `_.

n N

』 `_.2

_一妻′f,

-

`】嫣=I

.{

`.

_芽臧匕大学副校长′第l

_十四届全国人大椰弋表′!

.工业智能与系统优化

|国家级前芗吕禾斗学中心薯L主1壬禾口首席科学家_。

_ 焦礼成′欧洲科学_

_ 院、I我罗其斤自然科_

_ 学院夕卜莱彗院士′_

| IEEEFellow,西安_

电子禾斗于支大学华山

!王国栋′中国工程院!院士 钢′′胴`业专家i溥士生导师。

_张大庆′欧寅I`|`|科学院

|院士′IEEEFellow,

|北京大学置井席教授′ICCF普适I十算专委会 |主任

_刘沮 加拿

|院院士′IEEE

| Fellow,加拿大西 |

_ 院正孝文主受禾口大学杰_出_ |

_ 院正孝文主受禾口大学杰_出

孝文空受。 _

6

专家刁队

(BI-XII+SiEAEEEéF-????i???

_刘吉刀′IEEEFellow, l

_ACM杰出科学家′ _

|口台尔麦宾工业大学 (深圳_)

|弓长燕咏′IEEEFellow, |

__中科大教授′主十算机科丨

_

:_学与技术学院菖U院长′丨

:

_杨铮′IEEEFellow,清辜

__

_

_

_

_师′国家万人计划。_

_讲席教授′国际人工智_

= 能研究院院长。 =

【ACM中国副主席。 | |

I

3. |

3.

_刘云新′清华大学国强=

_ 教授′智能产业研究院_

_ 首席研究员′国家重点_

_ 石开发计划工页目负责人。_

| I

| I

__「一一一一一一一一一

_

_

|王帅′香港科技大学计 |

|算木几系助理教授′寸尊士 I

= 生导师′谷歌学者。 I

I