智能网联汽车智能座舱系统调试与测试：手势交互系统的拆装与调试PPT教学课件.pptxVIP

项目四手势交互系统的拆装与调试

目录任务一手势交互系统的认知与拆装任务二手势交互系统的调试

项目描述在实际的驾驶环境中,如果有车内环境嘈杂或有乘客熟睡等特定场景,语音交互并不是最佳解决方案。手势识别技术凭借简洁快速、空间距离范围广、不受声学干扰、在一定程度上可以模糊操作等优势,在真正的自动驾驶实现之前能大幅减少驾驶员分心,提高驾驶安全性,与触控、语音等交互方式形成重要互补。

任务一手势交互系统的认知与拆装

任务一手势交互系统的认知与拆装现有一车主需要在车内安装手势交互系统。如果你是维修技术人员,请帮助车主完成手势交互系统的线路连接和摄像头的安装。任务导入

任务一手势交互系统的认知与拆装任务目标【知识目标】(1)了解手势交互系统。(2)了解手势识别的技术路线。【能力目标】(1)能够熟练使用手势交互系统拆装所需工具。(2)能够独立完成手势交互系统的线路连接。(3)能够独立完成手势交互系统摄像头的拆装。【素养目标】(1)养成严谨的职业规范和工作态度,具有良好的职业道德。(2)具有浓厚的创新意识和创新能力。(3)树立正确的人生观和价值观。

任务一手势交互系统的认知与拆装任务资讯一、手势交互系统概述手势交互系统是基于手势识别技术和运动检测技术的系统。手势识别技术可以通过分析用户的手部动作,如握拳、伸展等来判断其意图并实现相应操作。运动检测技术则可以通过检测用户的手部运动轨迹来判断其意图并实现相应操作。在汽车中使用手势交互系统可以帮助驾驶员与汽车建立一种直接、自然的互动方式,使得驾驶员可以更加轻松地掌控汽车,同时也提高了驾驶的安全性和便利性。点击图标可观看视频手势交互系统概述

目前通用的手势识别模式如图4-1所示。图4-1手势识别模式任务一手势交互系统的认知与拆装

1.手掌探测器手掌探测器旨在从整个图像中检测手部轮廓,并找到手掌的位置。这个模式的平均精度高达95.7%。任务一手势交互系统的认知与拆装2.手部标志模型找到手掌之后,手部标志模型负责定位手掌上的21个关键点,包括手掌上的关节坐标。这个模型对于更准确地识别手势非常重要。3.手势识别器手势是人们手臂和手部的姿势或动作,可以被赋予各种特定的含义,是人们一直在广泛使用的一种沟通交流工具。通过手势,人们可以表达情感和意图并发出相应的互动信息。手势识别器就是通过对手部关键点检测的结果进行评估,并判断用户手势含义的模型。这个模式使用机器学习算法对手势进行识别,识别的准确率非常高。

2019年8月23日,谷歌借助TensorFlowLite和MediaPipe开源了一款手势识别器,该识别器可以直接在手机上运行,并实现实时跟踪(见图4-2)。任务一手势交互系统的认知与拆装图4-2谷歌手势识别器

根据手势的不同特点,可以将手势分为不同的类别。通常可以根据手势的运动特点将手势分为动态手势和静态手势。动态手势是指一连串的手部动作,手的形状和位置在不断发生变化;静态手势的手部形状和位置一般不会发生明显变化,也可以称其为手部姿势。还可以根据交互目的将手势分为交际性手势和操纵性手势。交际性手势一般与人们之间的交流相关;操纵性手势往往用手部的动作来表达特定的信息,如某些位置和路径。还可以根据手势是否代表特定指令将其分为预定义手势和自由手势。预定义手势就是赋予其特定的指令,用户做出手势时就会触发特定的行动;自由手势不代表特定的指令,可以应用于一些不易预定义的动作。手势无论是静态还是动态,其识别首先需进行图像的获取、手部的检测和分割手势的分析,然后进行手势指令的识别。任务一手势交互系统的认知与拆装

手势识别技术是指通过摄像头或传感器对人类手势动作进行捕捉和识别,再通过计算机视觉和模式识别技术将人类的手势动作转化为计算机能够理解和处理的数字信号的技术,目前主要有三种技术路线(见表4-1)。二、手势识别的技术路线任务一手势交互系统的认知与拆装

任务一手势交互系统的认知与拆装该技术主要是通过主动发射光子至目标表面,用传感器捕捉反射回来的光子,利用相位差或时间差进行计算得出距离数据,并拟合两个镜头接收的不同光线信息进行立体成像,从而判断用户手势。由于光的传播速度非常快,具有飞秒级快门的感光芯片成本过高,这也是光飞时间技术难以普及的原因之一。光飞时间12结构光是指通过激光投射器发出激光,激光经特定图样光栅折射在物体表面,然后利用一定算法分析红外传感器探测到的光图案位移变化进行手势识别的技术。由于激光投射器与物体之间的距离太近或太远都会导致光的折射产生位移误差,因此,该技术对识别距离有严格的要求。结构光

任务一手势交互系统的认知与拆装该技术使用两个或者两个以上的摄像头同时拍摄图像,通过比对分析不同摄像头在同一时刻获得的图像差别获得目标物体的三维空间信息,实现手势识别。该技