基于嵌入式智能手语翻译手套设计.docVIP

基于嵌入式智能手语翻译手套设计 张文李松林徐大杰 成都理工大学信息科学与技术学院 木系统设计一款能翻译手语的便携低功耗数据手套，旨在解决正常人与聋哑人 的沟通障碍问题。数据手套能输出用户手势的姿态角、手指弯曲度、以及手部的 加速度等。本系统使用模板匹配的方式，比较用户输入手势数据与模板库屮手势 的相似度，找出手势库中与输入手势差异最小的手势。根据需要改进了加权的动 态时间规划算法，把手势的加速度、姿态角度作为权值，与弯曲度数据有效融合, 最终正确的识别出用户的手势。 关键词： 数据T?套;T?势翻译;模板匹配;动态时间规划; 0引言 第六次全国人U普查公布的数据显示，全国各类残疾人总数为8502万人，其中 听力残疾2054万人，言语残疾130万人，分别在残疾人总数的24. 16%和1.53%。 聋哑人只能通过手语进行相互交流，他们与正常人的交流存在极大的障碍。本系 统设计了一款低功耗便携式的智能手语翻译手套，相比于上述的手势捕获技术， 具有众多优势。该手套能精确的记录手势的空间数据，不存在手势死区，并且智 能手套处理的数据量小，算法相对简单，识别速度快。 1系统构架 本系统手势识别分为3个部分，数据采集及预处理、数据段捕获和识别手势。数 据采集通过弯曲度传感器、MPU9250获得;但由于外界环境等因素，数据会受到 干扰，系统使用滤波达到较好效果。数据段捕获主要是寻找手势的起点和终点， 其采用门限判定法来分割手势。用户做手势时，手部的姿态、加速度、手指弯曲 度有显著变化，通过设定门限值，确定有效数据段。识别手势主要采用加权动态 时间规划，计算与模板库手势欧式距离，当两者总距离值最小，且小于设定的 阈值时，则判定为同一手势。 2识别算法设计 2.1数据采集和预处理 弯曲度传感器采用模数转换得到手指的弯曲度。转换时，易受到电源波动和环境 等影响，故在每次釆集时，进行模数转换5次，釆用冒泡排序，舍弃最大和最 小值，求平均，最后送滑动窗U滤波。MPU9250集成加速度计、地磁计和陀螺仪, 通过特定的算法解算出加速度和欧拉角。对其进行数据归一化到［0，1］，即： x梞L n max梞i n (1) A 其中A为归一化值，min为样本最小值，max为样本最大值。分别对弯曲度、 加速度和姿态角进行数据归一化。 2.2数据段捕获 人在做出手势时，手指弯曲度、加速度、角度均有明显的差异。通过差分法可对 手势的起止和终止做出判断，从而捕获到有效的手势信息。即： = Kci- O +1 匕d?di + 4n,= I兄叩—+ - + l^n, - ^1 处.八］44 . n-i. 士 d AAi =￡； 44 tTr r-m 也 rv?以 (2) A”1 s s zf : 其中表示第i个手指j时刻的手指弯曲度采样值，acd、M表 、十 、f 示j吋刻，三维加速度值， 表示j时刻的三维角度值。 设定临界阈值组合，得到手势起始终止条件。 终止条件： 为排除系统偶然性，以连续多次采样数据作为判决数据。当几次数据均满足起始 条件，判断手势开始；同时满足三个终止条件，判断手势结束;其他情况下，判 断为有效数据段。 2.3识别核心算法 本部分使用动态时间规划算法，寻找输入与模板序列之间的最佳时间规正函数， 使输入与模板的距离最短。设模板手势时间序列和输入手势时间序列。定义规整 序列 ,规整点组。输入手势与 模板手势的相似度用欧式距离来评价，即: D(Q,C)= d(rg(x),yc ⑷) ⑶ 构建一个的矩阵网格，每一个网格代表输入与模板序列的欧拉距离值，用表示。 且有： d(TQ(xX7Xx)) = (Qi - A〕2 = rnin{D(iQj；) +dQiqJc)} ([J) (4) 为输入与模板手势的总欧拉距离值。越小，两者越相似，反之，越不相似。 以上为传统的动态时间规划，匹配过程中，把每个路径点同等看待。但实际过程 屮，每个采样点重要性不同，且弯曲度、角度、加速度数据在识别的贡献也不同。 以弯曲度为主识别数据，角度、加速度为辅数据，以加权的方式突出不同采样点 在匹配中的影响大小，得欧式距离递推式。 D(vQ=pW?d(i7.,ij I min I 1丄 I l〕,D?i?j\ I 1)J ⑸ 其中为权重函数，由加速度、角度的混合式组成。 式中、为分别为加速度、角度在加权中的贡献比重。 计算出输入与模板手势间的欧式总距离jD f^nJ -与设定的阈值比较， 当加权和小于阈值，则判定为匹配成功，反之，与模板集下一个手势匹配，算 法流程如图1。阈值与误识率FAR和误把率FRR密切相关。阈值选取越大，FAR 越大;阈值越小，FRR越大。通过大量试验得出合适的阖值e和a、0参数，使 得手势匹配的等错误率EER (FAR=FRR)最小。 图1加权DTW算法流程