基于图像识别的手语翻译器基于图像识别的手语翻译器控江中学高二.docVIP

基于图像识别的手语翻译器 控江中学 高二（11）班 徐俊轩 指导教师：董姣 关键字：图像识别 手语 翻译 第一视角 树形模式 向量 摘 要 本项目是一款手语翻译器，其特点主要在于由聋哑人自己携带、以第一人称获取图像。本项目是在图像识别技术的基础上进行创新。 首先，本项目在图像获取方面进行创新，以第一视角进行图像获取，使聋哑人可以自己携带设备，便于使用；其次，在处理图像过程中以图像的重心作为一个特征量进行处理，再结合其他4个特征点，求特征向量，以此为基础可以处理一定量的汉语手势。 本项目目前尚不能对两只手相重合做出的动作进行识别，在此方面仍有待加强，同时在手势获取的鲁棒性和清晰度方面仍需改进。 图例： A,B→ 表示 向量AB 黑体 表示 引用自其他文献 1、引言 本项目致力于制作一款便于携带的第一视角汉语手语翻译器，使其能够在手语使用者的角度采集信息，将其转化为汉语。 2、项目由来 笔者偶然在某次展会，看到一位老人，因耳朵失聪，用手语和接待员交流，但接待员不会手语，造成尴尬的局面。笔者便有了做一个手语翻译器的想法。 3、技术路线 3.1基本路线： 基于通常的图像识别的步骤： ①图像获取、处理 ②图像分割 ③图像识别 ④图像表示 ⑤识别解释 从而推出本项目的研究过程： ①图像获取、处理 ②图像分割 ③图像识别解释 ④图像数据转换 ⑤语音输出（实验过程中将以文字形式输出） 本项目的重点是在于①和⑤。 3.2思想方法： ⑴利用国标手势标准的位置特征（参见图3-1），确定手势在坐标平面中的大致坐标。 [图3-1] GB／T 24435—2009 标准手势位置 ⑵采用树形结构模式的方法，初步将手势分为： 单手单节构（由一只手表示的动作）、双手单节构（由两只手协同表示的动作，通常难以分离两只手的图像）、双手双结构（由两只手分别表示的动作，通常可以分离两只手的图像）。(参见图3-2) [图3-2]树形结构模式分类 若为单节构则进入步骤3，若为双结构，则将双结构分为两个单节构进行处理。 ⑶对获得的单节构，取手势重心G，取4个基本点T,B,L,R。 ⑷对获得的单节构的重心G以及4个基本特征点T,B,L,R。求特征向量G,TG,BG,LG,R ⑸对获得的单节构的G,TG,BG,LG,R，求相邻特征向量的向量外积和向量内积。 即求： G,L×G,T和G,L·G,T G,T×G,R和G,T·G,R G,R×G,B和G,R·G,B G,B×G,L和G,B·G,L ⑹建立手势的模式量（若为双结构则对另一单节构重复步骤3~5，获得两个单节构的模式量） 4、研究对象和方法 Ⅰ对象：手势 方法：采用两个SONY（CCD）针孔摄像头，一个做成挂坠式，佩戴在使用者胸前；一个做成夹持式，夹在使用者鞋子靠近中轴的一侧。通过摄像头摄制获得手势图像。 Ⅱ对象：手势图像 ①将获取的图像以二维数组的形式保存。 为了确定手势在平面中的大致方位，定义以摄像机摄制图片正中心为坐标原点。基于人体比例，令臂长为2.5单位，肩宽4单位可得两个摄像头摄像区域模拟坐标轴。参见图4-1、图4-2 [图4-1]胸口摄像头 标准动作 坐标范围 [图4-2]脚部摄像头 标准动作 坐标范围 ②第一次遍历图像，由坐标原点开始，自中间向上下，自中间向左右。将不符合肤色特征的点的数值置为0，否则置为1；同时将远离标准范围的肤色特征的点视为干扰点置为0。 时间复杂度O(n)。 ③采用现有的O(n)级的边缘检测算法。 算法以每次扩张得到的新边界为基础继续扩张。于是，扩展的连通分量提取算法可以这样实现：对找到的第一个白色像素，分析其左上，右上，左下，右下4 个区域内有没有白色像素，其中区域范围(即结构元素的大小)的确定如前所述，若有，则向该方向继续扩张。这样，每个区域的扩张只会产生4 个新的扩张起点。同时注意到譬如右上区域扩张时，必然不需要考虑左下区域，因为那已经是分析过的区域了，所以在递归调用中，提供一个参数作为标志，以避免这种返回原点的无意义扩张。可以推知该算法对于连通分量中的每个像素，最多会被检查分析两次。 步骤1 提取图像的下一个像素(第一次规定为左上角的像素，以后按照从上到下，从左到右的顺序提取)； 步骤2 分析当前像素是否为白色，若不是，则到步骤7；若是，则到步骤3； 步骤3 分析该像素左上区域内是否有白色像素，若有，以左上角像素为下一个待分析像素并标明其右下区域以被分析，然后重复本步；若没有，则到步骤3； 步骤4 分析该像素左下区域内是否有白色像素，若有，以左下角像素为下一个待分析像素并标明其右上区域以被分析，然后到步骤3；若没有，则到步骤5； 步骤5 分析该像素右上区域内是否有白色像素，若有，以右上角像素为下一个待分析像素并标明其左下区域以被分析，然后到步骤3；若没有，则到步骤6；