CN119759771A 一种基于多模态模型的自动化gui测试方法及系统 （浙江大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119759771A

(43)申请公布日2025.04.04

(21)申请号202411828998.4

(22)申请日2024.12.12

(71)申请人浙江大学

地址310058浙江省杭州市西湖区余杭塘

路866号

(72)发明人智晨宋嘉荟赵康嘉梁秀波赵天成邓水光尹建伟

(74)专利代理机构杭州天勤知识产权代理有限

公司33224

专利代理师彭剑

(51)Int.Cl.

G06F11/3668(2025.01)

G06F11/3698(2025.01)

权利要求书2页说明书7页附图3页

(54)发明名称

一种基于多模态模型的自动化GUI测试方法

及系统

(57)摘要

本发明公开了一种基于多模态模型的自动化GUI测试方法及系统，包括：(1)构建统一测试基准环境GTArena，将GUI测试流程分解为测试意图生成、测试任务执行与GUI缺陷检测三个连续阶段，并采用多模态模型执行三个阶段的流程；

CN119759771A(2)利用POMDP对测试任务执行过程进行建模，描述状态转移与决策过程；(3)借助转移元组对应用程序的交互状态进行建模，记录测试任务执行过程中的状态转移序列与操作行为日志；(4)利用真实应用程序、人工注入缺陷的应用程序及合成数据