MobileRunner技术资料 一、 MobileRunner基本功能： 功能概述： 移动 .DOC

MobileRunner技术资料 MobileRunner基本功能： 功能概述： 移动设备的自动化测试工具，支持系统功能测试、系统性能测试、应用程序功能测试、应用程序兼容性测试、应用程序性能测试。 功能点： 移动设备管理—对连接设备管理服务器的移动设备进行集中式管理，支持设备的热插拔，自动识别设备厂商、设备型号、操作系统版本、设备分辨率等设备基本信息。 移动设备连接控制—对设备进行连接，通过鼠标操作设备，支持基本的触屏操作（点击、滑动、长按）、物理按键操作以及应用程序安装、卸载、启动。 操作脚本录制—对设备的操作录制成脚本，在录制过程中自动识别操作的界面组件，形成资源（对象）库。 自动图形组件识别及编辑—脚本录制时自动记录操作场景截图及操作组件，可对识别出来的组件进行编辑。 图形检查点设置—通过图形识别比对的方式检查脚本执行结果。 脚本回放—对录制好的脚本在指定的设备上回放脚本，自动识别界面组件并发送事件。兼容多操作系统及多设备分辨率。 脚本回放报告—对执行的脚本进行回放记录，可以查看执行结果。 报告导出—支持html、doc、pdf等格式的报告导出。 批量脚本执行—脚本本身支持脚本包含语句，可以批量连续执行多个脚本。 无人值守执行—支持脚本定时回放，无需人工干预。 脚本语法及编辑—支持beanShell的脚本语法，支持逻辑语法。 应用管理—支持apk应用的安装、卸载、启动。 设备运行状态监控—支持对连接的设备的CPU使用率、内存使用率等信息的实时监控显示。 MobileRunner关键技术点及创新点 关键技术点： 设备连接管理—对连接到设备管理服务器的设备进行监控，设备的连接与断开系统能够自动识别，不需要人工干预。（设备管理服务器通过NIO与设备管理器进行集中管理，设备管理器与移动设备通过ADB进行通信） 设备控制—用户的鼠标操作及菜单操作能够转化为设备操作指令，并发送到设备上执行。（指令的发送通过设备管理器使用ADB对设备进行操作，故设备需要开启调试模式） 图形自动识别组件—设备的操作能够通过设备界面自动识别出界面组件，脚本执行时能够在当前的设备界面中识别出该组件并执行录制时的响应操作。 组件特征训练—通过组件特征训练的方式来增加组件的识别率，达到类似于人眼识别的能力，加强脚本的通用性。 创新点： 通过图形识别原理对操作对象进行智能自动识别，被测设备无需提供特殊接口，无需安装任何其他应用程序。 自动测试的图像识别原理、过程以及存在的问题 录制时图像识别原理及过程：（灰图方差值算法） 流程图 流程说明： 首先获取当前操作界面的截图，获取当前操作鼠标坐标点，并记录坐标点的灰度值，然后以当前操作鼠标坐标点为中心向四边扩大一个像素值得到一个矩形（周围8个像素），判断该矩形的灰度值与之前的灰度值是否相近，相近则继续扩大矩形，直至灰度值差距很大，则认为找到该图形的边界，并得到一个矩形的组件截图。 执行脚本时图像识别原理：（汉明距离算法、模板匹配算法） 流程图： 流程说明： 首先获取当前系统界面并截图，将该截图缩放为录制时界面的大小，在录制时组件的所在坐标截取组件宽高的子截图，比较子截图与组件的相似度（采用汉明距离算法），如果相似度非常高，则认为该界面具有该组件，可以发送录制时的操作指令，换算得到的坐标是录制时的坐标与当前设备相同比例的坐标；如果相似度非常低，则认为该界面不具有该组件，改用直方图的模板匹配算法，从截图最左上角到最右下角寻找与录制时组件形状相同的界面部分，如果找到相同部分，也认为该界面具有该组件，换算得到的坐标是找到的界面部分的中心点；否则是界面中不具备该组件，无法完成脚本执行，判断脚本执行失败。 目前存在的问题： 1). 录制时组件识别准确度较低，对于边界不明显的组件不容易识别，对于分块的图形识别也多识别为组件的一部分，不能识别全部组件。但通过资源/组件编辑器可以进行人工干预，增强组件识别率。 2). 对于不同分辨率比例（如16:9录制的脚本在16:10的设备上执行），执行时识别率较低，汉明距离与直方图模板匹配算法对于比例不匹配的情况识别能力较差。 3). 相同组件识别时，细微的差别容错率较差，如同样的短信图标，没有数量提示的图标和有数量提示的图标程序会认为不是同一个组件。 公共资源/组件库与组件特征训练功能： 对于常用的界面组件，可以创建公共资源/组件库，用户在设计脚本时，可以选择公共的组件来代替录制脚本时自动识别的组件，提高脚本的通用性，同时用户可以上传新的特征组件，通过特征训练的方式来增强公共组件的识别率，从而实现类似人工的智能识别。举例如下： 各个输入法的中英文切换按钮可能不相同，但人类能够正确识别该按钮并点击。可能的按钮样子有：、、、、。如果是计算机则会认为这几个按钮都是不同的东西，在脚本执行时如果回放设