Scratch2.0视频感知技术教学的应用实践.docVIP

Scratch2.0视频感知技术教学的应用实践 　　Scratch2.0发布以来，利用第三方提供的离线版，众多学校已经在信息技术课堂中积极跟进和普及了新版本的教学。Scratch2.0最能引起学生直观感受的功能莫过于新生的“视频感知”技术，在实际应用中学生多以身体动作来与程序产生交互，因此这一功能也常被冠以“体感”之名。准确来说Scratch2.0的视频感知仅仅是识别画面中物体的灰度变化，而不能识别人体或颜色，因此以“体感”技术来定义是有失偏颇的。Scratch2.0的视频技术相对简单，这是它的劣势，但从信息课堂的教学来说又是很大的优势。正因为门槛低，只要在普通信息技术教室中配备一个二三十元的摄像头就可以开展教学，如笔者所在学校的机房配置的带摄像头的笔记本电脑，就可以实现零成本、零准备的Scratch2.0教学。而像Kinect这类的设备可以在一些创客工作室或工坊中配备，但出于成本和维护等原因不太可能在整班教学中实现。 　　Scratch2.0关于视频的新增指令只有3个：①开启/关闭视频Turn Video （）；②设置视频透明度Set Video Transparency to （）% ；③视频感知Video （） on （）。其中第1和第2条为属性设置类指令，功能一目了然。真正在实际应用中起作用的是源代码仅有2个单词的第3条指令，看似十分简单明了，笔者在刚接触Scratch2.0时误以为这个视频感知技术属于“银样?J枪头”的鸡肋功能。然而在经过一段时间的实践后，发现在“光流”这一原理的“枷锁”下，我们仍然可以设计一些简洁而实用的课堂教学案例，让学生在实践中感受视频感知技术的魅力，体验传感技术和人工智能的有趣互动。 　　感知整个舞台的光流变化 　　此实验中以这个指令为核心。该指令的作用是识别整个舞台上所发生的动作的幅度，也就是光流的变化。事实上根据光流原理，如果颜色（灰度）相近的物体在舞台中迅速移动，即使速度很快，但由于光流变化很小，也很难被识别，因此在教学设计中应尽量避免这种情况的发生。我们可以设计一个入门小游戏，需要非常“缓慢”完成的游戏如同学的头部从舞台一侧“缓缓”移动到另一侧，速度需要非常慢，一旦摄像头侦测到的动作达到某数值，就发出声音警报。程序如图1所示。 　　在完成该任务时，由于程序对光流的识别十分敏感，舞台中略有动作侦测到的数值就会达到上限100，因此学生在实践中要自行探究并掌握一些技巧，学生未必需要懂得“光流”工作的原理，只需要直观地感受视频运动变化的规律，掌握技巧。例如，横移动作需要极为平缓，实践中学生也惊奇地发现远离摄像头的镜头，增加距离也可以提高成功率（实际是镜头中的人体变小了，光流变化的范围也随之变小了）。还有学生发现用与背景相同颜色的遮挡物挡在脸部再运动也有帮助，如很多同学背后是白色的墙壁，他们就用白色的书本、纸张或衣物挡住脸部，来“欺骗”程序减少视频侦测到的运动数值。 　　感知单一或多个角色上的光流变化 　　此实验中以 　　这个指令为核心。 　　相对于上一个实验侦测整个舞台的光流变化，这个指令的作用是仅仅侦测某一设定角色上的光流变化。借用我们非常熟悉的“翻饼”游戏为例，一只以速度为“-2”缓缓下降的大饼，一旦用手托住就会以“25”的速度上升，程序如图2所示。 　　学生通过程序解析发现，实际上这个游戏的交互并不是发生在“大饼”角色与摄像头中的“手”相互“碰到”的一瞬间，而是必须发生在两者“重叠”的一瞬间。学生发现因为程序是针对“大饼”角色设定的，只有“大饼”与“手”两者相互重叠，“大饼”角色上的光流才会发生变化，其运动数值才会被程序侦测到并触发大饼y轴增加的程序。而临界值“20”决定了交互发生的敏感度，数值越低越容易被触发，如手一碰到“大饼”就会上升。学生在实践中也会发现，如果临界值设得过低有可能因为“大饼”角色受其他因素的干扰而产生误判，造成触发条件过于敏感产生程序的不稳定。 　　在这个实验中，笔者引导学生明确如果设定同时侦测多个角色上的动作，就可以实现更多有意思的功能。例如，笔者在后续的教学中让学生把以前完成的“按键控制”的飞机大战升级成了“体感控制”版，在游戏中实现了类似“热区”的功能。 　　如图3所示，原本用左右按键控制的飞机，我们增加了左边的红色方块和右边的绿色方块，并在程序一开始设置为完全透明。当学生身体往左侧移动时，左侧红色方块角色上侦测到动作，这时就发广播给飞机角色，让它往左侧移动；反之右侧绿色方块侦测到动作，就让飞机往右边移动。实际操作中由于两块“热区”完全透明，不会对舞台效果产生任何阻挡和影响。学生在完成左右的控制后，大呼神奇，还举一反三，制作了位于舞台上方的两个小方块“热区”。向上挥手时接触到上方两个“热区”，就会激活不同的特殊攻击能力。学生发现颜色没