最新三维交互技术算法及FPGA实现.docxVIP

三维交互技术算法及FPGA实现概述：本算法设计主要采用双摄像头，基于双目视觉技术来定位3维手势。图像采集输入：图像输入只采集亮度信号，并且经过二值化，只采集255和0图像。存入到sdram。手部边缘提取总体思路如下：对获得的图像进行腐蚀。使用7*7的结构元，得到pHand然后再对腐蚀得到的图像进行膨胀。使用7*7的结构元，得到pHandOpen。对pHandOpen进行腐蚀运算。使用3*3结构元，得到pErode。使用pHandOpen 减去 pErode ,得到手部边缘，记为pHand。连通域判断总体思路如下：对边缘提取的图像进行漫水填充，使用areaNum对连通区域的个数进行计数漫水填充算法：1. 逐行扫描，当碰到第一个非0数据时（红色格），使用四连通进行填充，并且逐行进行，直到把这个连通域填充完毕，并把这个区域设为值1。2．继续逐行扫描，碰到非0和非1的数据时（绿色格），使用四连通进行填充，并且逐行进行，直到把这个连通域填充完毕，并把这个区域设为值2.3. 以此类推……NOTE：这里最多能有256个连通区域，值得注意算法实现考虑：考虑一个3*2窗口：P为像素值，为0或1.考虑块的标记值：如下：由这里看出，需要存储由标记值标记灰度的图像。以便后来进行去除其它干扰点时使用。以及在做标记处理的时候。必须同步读取标记好的数据。从头搜索像素：第一个点或第一行，左边点和上边点扩充0值。其他空白处不考虑。标记值初始化为1：连通域像素点个数计数值：开辟一个数组Sum[]：同时开辟等价关系数组K：等价关系数组为1个下标代表联通块，数组值代表这块标记的灰度值，如果两块的灰度标记值相等，则认为这两块是连通的。下面用lab()来表示K数组里面的值。1．Pn(0)如果为0.则窗口继续移动，如果1：判断if Pn(0)=Pn-1(0),则Ln(0)=Ln-1(0)Else if Pn(0)=Pn(1) 则Ln(0)=Ln(1), else 都不等：Pn(0)=Z, 把Z写入Z为下标的K数组，Z++;计数：判断if Pn(0)=Pn-1(0), 则下标为Ln-1(0)的Sum数组值+1；Else if Pn(0)=Pn(1) 则Ln(1)的 Sum数组值+1.2．两个块等价关系判断：如果 Pn(0)=Pn(1)，Ln(0)!=Ln(1)而说明这两块是等价的。Ln(0)和Ln(1)标记是等价的。步骤一：如果Ln(0)Ln(1):并且lab(Ln(0))=Ln(0) 则说明Ln(0)块还未与其他块相连，或者是相连块里面标记最小的。则Lab(Ln(0))=lab(Ln(1)),让其与Ln(1)块相连。如果Lab(ln(0))!=Ln(0),则证明Ln(0)块已经于其他块相连，因此需要找到这一个块中标记最小得块，即Lab(t)=t的块，t为块标记。这里我们采取追踪标记的办法，令t=Lab(ln(0))；即t是与lab(Ln(0))块相连的块，如果lab(t)=t则t块就是最小的块，以t和Ln(1)块比较。然后再重复步骤一：步骤二：Ln(0)Ln(1):并且lab(Ln(1))=Ln(1),则说明Ln(1)还未与其他块相连，或是相连块中最小标记的。则lab(Ln(1))=Ln(0)。如果lab(Ln(1))!=Ln(1),则证明Ln(1)块已经于其他块相连，因此需要找到这一个块中标记最小得块，即Lab(t)=t的块，t为块标记。这里我们采取追踪标记的办法，令t=Lab(ln(1))；即t是与lab(Ln(1))块相连的块，如果lab(t)=t则t块就是最小的块，否则继续追踪，然后以t和Ln(0)块比较。然后再重复步骤一：3.遍历等价关系表数组，以（标记值内的值）作为数组下标的单元的值去跟新原值：用C语言表示即：*p=*（*p）。4．把每个等价的计数单元相加，找出最大值。5．根据等价关系数组更新图像。6．把除最大连通域部分图像清零。保留最大的连通分量总体思路如下：如果areaNum的值为零，代表这帧图像中没有连通域，则直接返回零值。如果areaNum不为零，进行逐行扫描，建立一个数组pAreaPixs[j]，比较当前像素的pTemp[j]和areaNum的大小，如果pTeam[j]的值小于等于areaNum的值且pTeam[j]的值大于零，则pAreaPixs[pTeam[j]-1]加一。此时pTeam[j]的值为上一步中区域的赋值，扫描结束整副图像，最后得到一个数组，其中的最大值为连通域的最大值maxLen，进而得到最大连通域的maxIndex（实际上也是areaNum-1）。通过判断pTemp[j]和maxIndex+1的值是否相等，来标记出最大的连通分量，作为手指的区域。提取指尖坐标思路如下：如果没有连通分量，直接返回；有连通分量，寻找轮廓的起始点，遍历所