基于图像的航天业务软件Web UI自动化测试方法.pdfVIP

测控技术

人工智能工业服务软件2024年第43卷第9期·21·

基于图像的航天业务软件WebUI自动化测试方法

彭飞，王建*，寇超，田芳

（西昌卫星发射中心，四川西昌615000）

摘要：当前航天业务繁重，如何高效准确地完成相关软件的测试尤为重要。设计了一种基于图像的航天

业务软件WebUI自动化测试方法。该方法以用户视角进行自动化测试，使用YOLOv8模型检测被测

Web软件截图，识别出表格、折线图和导航按键（包括导航菜单、面包屑、按钮等按键)3类网页元素。之

后利用Selenium工具自动测试导航按键元素的可访问性，使用文字识别技术PaddleOCR、结构相似性

（StructuralSimilarity,SSIM）指数算法分别测试表格元素和折线图元素信息的正确性，并生成测试报告。

该方法可移植性好，能够自动为Selenium提供元素定位，改善Selenium脚本易失效的问题，并且可以自

动检查图表数据的正确性。实验结果表明，该方法能够覆盖90%的测试用例，可检测具体错误位置和

相关信息，显著减少了手动测试工作量，提高了测试效率。

关键词：WebUI自动化测试；YOLOv8算法；结构相似性算法;PaddleOCR;Selenium

中图分类号：TP206文献标志码：A文章编号：1000-8829(2024)09-0021-07

doi:10.19708/j.ckjs.2024.07.238

Image-BasedWebUIAutomatedTestingMethodsforAerospace

BusinessSoftware

PENGFei,WANGJian*,KOUChao,TIANFang

(XichangSatelliteLaunchCenter,Xichang615000,China)

Abstract:Currentlyaerospacebisnessesareheavy,howtoaccomplishthetestingofrelatedsoftwareefficiently

andaccuratelybecomeparticularlyimportant.Animage-basedWebUIautomatedtestingmethodforaerospace

businesssoftwareisdesigned.Thismethodconductsautomatedtestingfromtheusersperspective,anduses

YOLOv8modeltodetectthescreenshotoftestedwebsoftwarepage,andidentifiesthreetypesofelements:ta-

bles,linecharts,andnavigationbuttons(includingnavigationmenus,breadcrumbs,buttons,etc.).Then,Sele-

niumisusedtoautomaticallytesttheaccessibilityofnavigationbuttonelements,andthetextrecognitiontech-

nologynamedPaddleOCRandStructuralSimilarity(SSIM)algorithmisusedtotesttheaccuracyofinformation

fortableele