CN120234251A 一种基于多模态融合的自修复ui自动化检测方法 （四川互慧软件有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120234251A(43)申请公布日2025.07.01

(21)申请号202510427180.X

(22)申请日2025.04.07

(71)申请人四川互慧软件有限公司

地址621000四川省绵阳市科技城新区创

新中心11号楼607室

(72)发明人杨亚东姜超

GO6F18/22(2023.01)

GO6F18/25(2023.01)

GO6N3/045(2023.01)

GO6N3/0464(2023.01)

GO6N5/022(2023.01)

(74)专利代理机构成都睿道智诚专利代理有限公司51217

专利代理师刘粤

(51)Int.CI.

GO6F

GO6V

GO6V

GO6V

GO6F

11/3668(2025.01)10/25(2022.01)

10/40(2022.01)

10/82(2022.01)

40/14(2020.01)

权利要求书2页说明书8页附图3页

(54)发明名称

一种基于多模态融合的自修复UI自动化检

测方法

(57)摘要

CN120234251A本发明涉及软件测试自动化技术领域，具体而言，涉及一种基于多模态融合的自修复UI自动化检测方法，主要包括了进行视觉特征提取得到特征向量，并构建带语义标签的虚拟DOM树进行相似度计算，得到结构相似度；通过特征融合决策器对特征向量和结构相似度进行权重动态调整，输出当前置信度阈值下的融合权重比例，通过权重比例对特征向量和结构相似度融合形成决策组合，生成新的定位器。通过上述方法，解决动态用户界面导致的测试用例脆弱性问题，界面变更的实时感知的检测速度得到提升，同时定位策略的自动生成的新的定位器，在使用时的定位

CN120234251A

特证融会决

s执行

CN120234251A权利要求书1/2页

2

1.一种基于多模态融合的自修复UI自动化检测方法，其特征在于，包括：

通过测试执行器对当前UI进行异常检测，若未检测出异常则正常执行当前指令，若检测出异常，则对异常点进行定位，并判断是否定位成功；

若定位成功，则正常对异常点进行修复，若定位未成功，则进行视觉特征提取得到特征向量，并构建带语义标签的虚拟DOM树进行相似度计算，得到结构相似度；

通过特征融合决策器对特征向量和结构相似度进行权重动态调整，并设置置信度阈值，判断特征融合决策器的输出结果是否小于置信度阈值，若小于置信度阈值，则输出当前置信度阈值下的融合权重比例，若不小于置信度阈值，则进行根据历史数据选定融合权重

比例；

通过权重比例对特征向量和结构相似度融合形成决策组合，根据策略组合生成新的定位器，将新的定位器输出至测试执行器进行异常检测和定位。

2.根据权利要求1所述的一种基于多模态融合的自修复UI自动化检测方法，其特征在于，所述进行对异常点进行定位，并判断是否定位成功包括：

获取UI的所有元素的属性，并核对元素的属性是否与预设属性一致，将与预设属性不一致的目标元素进行标记为异常点；

对异常点进行重新按照预设属性进行生成，并再次获取异常点的属性并与预设属性进行核对，若不一致，则输出定位未成功的结果，若一致，则输出定位成功的结果。

3.根据权利要求2所述的一种基于多模态融合的自修复UI自动化检测方法，其特征在于，所述则进行视觉特征提取得到特征向量包括：

获取当前UI界面截图的区域图像，通过预训练的神经网络模型检测识别区域图像，提取得到区域图像的复合特征，基于复合特征输出特征向量。

4.根据权利要求3所述的一种基于多模态融合的自修复UI自动化检测方法，其特征在于，所述通过预训练的神经网络模型检测识别区域图像包括：

所述神经网络模型包括YOLOv5元素检测模型，所述YOLOv5元素检测模型包括Backbone模块、损失函数模块和数据增强模块；

所述Backbone模块，用于从区域图像中提取特征，输出特征图像；

所述损失函数模块，用于衡量模型预测与真实标签之间的差异；

所述数据增强模块，用于对特征图像进行缩放、裁剪或翻转。

5.根据权利要求4所述的一种基于多模态融合的自修复UI自动化检测方法，其特征在于，所述构建带语义标签的虚拟DOM树进行相似度计算包括：

获取DOM树结构数据，将DOM书结构数据封装