CN120086109A 一种基于多模态感知的APP自动化测试方法及Agent系统 （黎明职业大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120086109A

(43)申请公布日2025.06.03

(21)申请号202510563714.1

(22)申请日2025.04.30

(71)申请人黎明职业大学

地址362000福建省泉州市丰泽区通港西

街298号

(72)发明人吴迪

(74)专利代理机构厦门原创专利事务所(普通合伙)35101

专利代理师俞兰周

(51)Int.Cl.

G06F11/36(2025.01)

G06N5/04(2023.01)

G06V10/25(2022.01)

G06V10/44(2022.01)

G06V10/82(2022.01)

G06V30/19(2022.01)

权利要求书2页说明书11页附图3页

(54)发明名称

一种基于多模态感知的APP自动化测试方法

及Agent系统

(57)摘要

CN120086109A本发明公开了一种基于多模态感知的APP自动化测试方法及Agent系统，涉及图像识别或理解领域，方法包括以下步骤：实时感知层对APP的屏幕界面实时截图；当界面变化时，分三路处理截图：检测控件边界框；对界面元素进行视觉语义编码；同步提取文本内容，生成功能标签。融合三路输出结果，构建UI树。输入任务指令时，动态推理层通过神经一符号协同机制根据任