芒果TV自动化测试的实战.pptx

芒果TV 自动化测试实战 01 02 04 03 全屏加速度 自动化测试方法 互联网电视应用 自动化测试难点 3 截止到2016年6月 全屏加速度 PC端、移动端(iPhone、iPad、Android)、OTT端(Android、Linux)、M站(手机、平板) 4000万 3.01亿 1.45亿 2953万 芒果TV全平台日均活跃用户数 芒果TV手机APP安装激活量 芒果TV OTT终端激活用户数 PC端视频播放月覆盖人数 1.6亿 芒果TV日均VV 4 自动化测试目标 测试时间减少：90% 人力成本减少：90% 单次全功能测试比率：100% 测试覆盖率：98% 现状 目标 项目单次测试时间：2天 测试人员加班、加班、加班 不能保证单次项目全功能测试 无异常测试环境，测试覆盖率低 5 如何覆盖如此多的终端设备？ 如何模拟不同端的不同行为？ 如何获取各个业务的反馈数据并分析？ 如何实现业务功能的全面覆盖？ 如何搭建复杂异常的测试环境？ 如何确保整体结果是ok的？ 如何在公司内进行推广？ 自动化测试难点 ？？？ 6 PC端： 浏览器：IE、Chrome、Firefox等 APP端： 设备机型：Android、iPhone、iPad、Android Pad等 OTT端： 设备机型：海美迪、三星等 M站： 设备机型：手机、平板等 自动化测试终端设备 7 自动化测试框架 PC端： APP端、M站 Selenium Appium 跨平台 分布式 WebDriver API 自动化测试框架： MonkeyRunner：API工具包、脚本可读性差、回放率差 iTestin：录制生硬、脚本难以复用 Selenium：简单、方便、兼容 Appium：跨平台、多语言 8 自动化测试之广告业务 一个简单的广告点击链接功能？ 触发广告播放 点击页面链接， 广告数据上报 广告播放过程，点击页面链接 进入下支广告或视频 9 自动化测试之广告业务 一个简单的广告点击链接功能的验证？ 页面元素验证广告播放 后台验证广告请求与播放上报 直接抓包验证 后台日志分析 页面元素验证广告点击 后台验证广告点击上报 页面元素验证播放 后台验证数据上报 10 评判规则： 正常情景与异常情景 线上漏测率 一个简单的广告点击链接功能的异常情景？ --广告请求异常情景 --广告点击链接异常情景 -广告链接地址异常(404、500、timeout等) -广告数据上报异常(404、500、timeout等) -广告数据第三方监测异常(404、500、timeout等) --其它异常情景 自动化测试覆盖率 50% 70% 80% 11 自动化测试环境 视频 下载限速 网络连接失败 404 500 播放卡顿 切片出错 timeout 数据异常 文件解析失败 素材格式错误 自动出错 乱码 等待网络状态不佳 拔掉网线 需要开发协助 无法模拟 抓包修正 影响正式环境 频繁变动 直播 点播 轮播 多机位 广告位 全网搜索 精彩推荐 12 自动化测试环境 两种不同的环境搭建方法 方法一：搭建服务 方法二：nginx文件配置 13 自动化测试环境 Test1 Servers scene3 scene2 scene1 API Request API Response API Request …… …… 直播测试环境 14 如何确保整体结果是ok的？ 自动化测试流程 Test Servers Result Reports API APP OTT … GITLAB JENKINS 15 自动化测试推广 态度、态度、态度 时间、时间、时间 正确率、覆盖率、漏测率 “海底捞”的服务 王婆卖瓜、卖瓜、卖瓜 口口相传、口口相传、口口相传 积累、积累、积累 “王婆卖瓜”的推广 16 PC OTT APP Web自动化测试工具：Selenium Web自动化测试难点：PC-Flash OTT端自动化测试框架：？