字节跳动客户端稳定性测试——Fastbot跨平台实践.pdf

字节跳动客户端稳定性测试 Fastbot 跨平台实践 郭建强 字节跳动Quality Lab 技术专家 • 跨平台⾯临的挑战 • 跨平台框架设计 • Fastbot-iOS⼯具实践 • 展望未来 跨平台⾯临的挑战 智能化测试 业务挑战 业务线众多 业务逻辑复杂 迭代周期压⼒⼤ 测试建设/维护成本⾼ 需测试充分覆盖 跨端/跨技术框架 Android 端实践 Fastbot 已具备成熟的⾃动化测试 + AI 能⼒ Fastbot(Re)、Ape(A) 、Stoat(St) 评估数据 ⾃拍互动加特效 私信分享好友 iOS 跨平台⾯临的挑战 • 学术届缺乏iOS ⾃动化相关benchmark • ⼯业界成熟实践以框架为主，系统化⼯具极少 • iOS 开发⽣态环境相对封闭 iOS ⾃动化测试现状和难点 部分主流⾃动化测试框架 XCTest/XCUITest 问题：业务挑战下测试建设/维护成本⾼ EarlGrey WDA (WebDriverAgent) 部分主流⾃动化测试⼯具 难点：稳定性性能资源消耗 FastMonkey 页⾯解析耗时0.5 ～10s OCMonkey 极少能稳定运⾏4+ ⼩时 sjk_swiftmonkey 运⾏20+⼩时/天⼿机池⿎包 iOS12/13/14 未兼容性 解决之道 GUI 解析 状态抽象 算法决策 事件⽣成 跨平台架构设计 • 解耦 • 跨平台客户端 • 算法服务 • 存储 • • 平台接⼜ ⾼可⽤ 稳定7x24⼩时测试 • ⾼性能 毫秒级智能测试⽣成 Fastbot-iOS⼯具实践 • 低成本接⼊Pipline BUNDLEID=com.apple.MobileAddressBook duration=15 throttle=500 xcodebuild test - workspace Fastbot-iOS.xcworkspace -scheme FastbotRunner -configuration Debug - destination platform=iOS Simulator,id=19C57B43-FF7B-49F9-BE09-38F3A98916AD - only-testing:F