大模型时代软件测试技术方向与趋势PPT.docx

1

2024/8/23

大模型时代

大模型时代

软件测试技术方向与趋势

朱少民，同济大学

1

?录

CONTENTS

1.从图灵测试说起

2.大模型时代软件测试的新范式

3.大模型时代软件测试的技术方向

4.大模型时代软件测试实践

5.软件测试的未来展望

2

2

2024/8/23

Part

Part1从图灵测试说起

3

图灵测试

A.M.Turing在1950年发表在Mind（49:433-460）的论文：ComputingMachineryand

Intelligence.论文第一次提出了“机器能够思考吗？”这样的问题以及验证它的“图灵测试”

4

3

2024/8/23

64年后才“通过”图灵测试

2014年6月7日，计算机科学之父阿兰·图灵（AlanTuring）逝世60周年纪念日。这一天，在英国皇家学会举行的“2014图灵测试”大会上，聊天程序

EugeneGoostman首次“通过”

了图灵测试。但也存在争议

TuringTestSuccessMarksMilestoneinComputingHistory-NeuroscienceNews

5

chatGPT通过图灵测试，没争议吧？

chatGPT通过图灵测试，没争议吧？

6

4

2024/8/23

大模型不限于聊天

生成内容（写文章、作画、作曲、编写程序）

生成内容（写文章、作画、作曲、编写程序）理解文字、理解图片、理解代码

7

许多地方超过人类平均水平

测试

GPT-4

GPT-3.5

经过专门训练

统一律师资格考试

298/400（排名前10%)

213／400（排名后10%)

无

医学知识自我评估

75%

53%

无

研究所入学考试

163／170（排名约前20%)

147／170（排名约前25%)

无

HellaSwag：常识推理

95.30%

85.50%

85.60%

DROP：阅读理解基准

80.90%

64.10%

88.40%

GSM-8K：8000道小学数学应用题数据集

92%

57.10%

87.30%

8

5

2024/8/23

GPT拥有海量的知识

“正好Transformer把这么多知识压缩在一起，这是它的最大突破”

9

LLM开始认知现实世界

10

6

2024/8/23

LLM正在改变每一个行业

随着新一代人工智能的出现，这将会彻底改变

随着新一代人工智能的出现，这将会彻底改变每个行业、每个领域的计算…..

——微软CEOSatyaNadella

软件天生就是数字化的

借助LLM，

AI将软件研发带入真正的数字化时代

AI就像100年前的电，

正在改变所有的行业…..

——吴恩达

11

Part

Part2大模型时代软件测试的新范式

12

7

2024/8/23

不写一行代码完成小程序开发

GitHubCEO

GitHubCEOThomasDohmke挑战：用AI18分钟完成一个小游戏的编程。结果只用了不到15分钟成功上线部署，这边他还在讲台上，全球网友已经能玩上了。

13

生成代码、代码解释与评审等

如GitHubCopilotinVSCode，基本不改变原有编程方式，但效率会提高一倍

14

8

2024/8/23

突破业务理解瓶颈

通过人机交互引导、细化，今天的计算机可以理解业务，克服了智能软件工程道路上的最大瓶颈

通过人机交互引导、细化，今天的计算机可以理解业务，克服了智能软件工程道路上的最大瓶颈

15

生成验收标准、测试用例、测试脚本

生成验收标准、测试用例、测试脚本…

17

9

2024/8/23

软件开发新范式：ML-DevOps

模型驱动开发、模型驱动运维

模型驱动开发、模型驱动运维

DevOps

LLM将软件工程带入3.0时代

模型部署、

运维

大模型

模型

模型训练

验证

18

测试新范式：

测试新范式：LLM驱动测试

基于人机交互智能，生成测试件

人机结对测试成为常态

19

10

2024/8/23

LLM让AI技术成为软件测试的核心力量

客户洞察客户反馈分析测试需求分析测试设计测试用例生成单元测试生成在线日志分析

客户洞察

客户反馈分析

测试需求分析

测试设计

测试用例生成

单元测试生成

在线日志分析

业务E2E测试生成

系统UI测试生成

API测试生成

大模型

大模型

20

Part3

Part3大模型时代软件测试的技术方向

22

11

2024/8/23

技术方向：学者角度

From

From：SoftwareTestingwithLargeLanguageModelsS