Waken ppt.ppt

Waken: Reverse Engineering Usage Information and Interface Structure from Software Videos  Nikola Banovic, Tovi Grossman, Justin Matejka , and George Fitzmaurice Autodesk Research Dept. of Computer Science 一、主要背景 Software教程日益成为网上学习的重要形式。 逆向工程（reverse engineering）思维的发展出现很多解决视频问题的论文。 基于视频的教程用户在使用的时候出现了一些实际问题。 逆向工程（reverse engineering） 逆向工程（reverse engineering）是根据已有的东西和结果，通过分析来推导出具体的实现方法。比如你看到别人写的某个exe程序能够做出某种漂亮的动画效果，你通过反汇编、反编译和动态跟踪等方法，分析出其动画效果的实现过程，这种行为就是逆向工程；不仅仅是反编译，而且还要推倒出设计，并且文档化，逆向软件工程的目的是使软件得以维护。 二、实际问题的出现 时间较长的视频教程的内导航问题，用户可能跟不上教学的节奏而导致的误解。过去的研究表明，导航软件工作流程可以可以基于时间轴的视频摘要和操作历史记。 在播放softwear视频的时候，视频里的GUI界面元素观看者无法点击和被动记忆。 现有的研究情况，对于Internet上的巨量software视频并不能解决所有问题。 视频教程是通过屏幕来演示目标应用程序的使用。它并没有提供额外的元数据来重构操作历史也没有提供用户的交互时间。[1,10,11,13,17,22] 都是探索自动捕获操作流程的论文。但是这些论文都借助于额外的记录工具，此外已经存在于互联网上的巨量视频并没用在一开始使用这种记录工具。从而得知：从视频本身得到操作流程信息将十分有用。 Matejka et al. [21]从计算机视觉技术来解决这一问题，但是这种方法只匹配AutoCAD。 Pongnumkul et al. [26]提供了一种从视频教程中推断有用的图标数据。但是它首先要使用目标程序的工具模版通过训练。 三、解决方法 为了解决以上的问题，采取下面的方法。 Waken player： 核心就是检测当应用程序的GUI元素出现某些特定行为时，我们使用计算机视觉的帧差分技术来确定这样的行为或者动作，然后提取变化的相关部件。还有可以从可访问的庞大视频集中提取一些部件，放入库中，对于一些应用程序小部件，可以模式匹配到其他的一些视频中。 帧差分法 从视频中捕捉GUI元素的步骤 1、动态识别， 2、目标合并， 3、目标确定， 4、模式匹配， 5、光标热点推理， 6、点击检测， 7、提示工具提取， 8、菜单中提取。 捕捉GUI元素目标 四、视频反向工程的几个难点： 1、噪声：单独的帧不是像素的完美表示，由于视频的压缩工作，编码器的有损耗存在导致大量比较连续的噪声产生。为减少噪声的不良影响，我们先改变连续帧的灰度，再选取两个绝对不同的两个帧。运用一个阀值过滤器，过滤掉任何灰度值差异小于20的。这种方法尽可能的减少了噪声的不良影响。 灰度值过滤器 2、帧差分法处理光标微小移动 3、典型光标和GUI元素重叠处理 4、当光标点击GUI元素的识别 五、Waken player的实现及实验 VC++2.3版本+Window7操作系统运行环境； 从Google下载了34种software视频教程进行实验，视频：640*480，帧速8fps-24fps， 压缩方式H264 – MPG-4 AVC 。 2h22m时长的视频，需分析近50个小时。 实验结果 正确识别14种常用游标，5种极少用未识别； 正确识别光标运动轨迹81，39%； 光标点击确认正确率99%； 正确识别8种图标按钮，5种未识别，由于， 这5种按钮被点击次数少于4次，而且系统能正识别点击在图标上的光标。 六、存在不足及未来工作 算法 有待优化，减少反向工程的时间。 对大量视频方向，进行合理的参数设置。 组件设计有待进一步研究。 但是这是一种基于计算机视觉技术新的尝试，可以说是基于像素、帧差分的在视频处理上迈出的第一步尝试。