低成本激光投射虚拟键盘的设计制作-下.pdf

电子电路网（） - ( - ( 低成本激光投射虚拟键盘的设计制作--下((算法与 实现)))) 3.5. 3.5. 33..55.. 前期视觉处理 由于本制作的视觉处理部分都在PC上进行，因此我使用了OpenCV[6]库来加速视觉运算代 码的开发。在进行原理部分提到的手指尖提取和坐标求解前，需要对摄像头捕获的原始画面 做一些前期的处理，方便后续的计算。 3.5.1. 3.5.1. 33..55..11.. 镜头扭曲矫正 由于我们使用了广角镜头，因此摄像头拍摄到的画面会存在比较明显的扭曲，就如下图所示： 这 样扭曲的画面难以直接进行处理计算出后续需要的坐标信息，因为这种扭曲变换是非线 性的。因此这里首先需要对摄像头镜头进行校正。在之前的文章[2]中有对 摄像头矫正技术 的介绍，这里我仍旧使用matlab 的摄像头校正工具[7]进行校正。在OpenCV 中也提供了相 关函数和工具可以对摄像头校正，不过很多 人反映相比matlab的算法，OpenCV 函数校正 得到的结果略差。 在使用Chessboard图案完整校正后，可使用OpenCV 的cvInitUndistortRectifyMap/ cvRemap 函数通过校正数据将扭曲的画面重新修正。 电子电路网（） 电子电路网（） 图：将左侧广角镜头的原始画面进行扭曲修正，得到右侧画面 这里有一点需要注意，在先前的安装阶段我们提到摄像头需要安装红外带通滤光片。但在安 装滤光片后，由于可见光都被过滤，因此之后无法再进行上述的镜头校正。因此这部分的校 正工作需要先于红外滤光片的安装进行。 3.5.2. 3.5.2. 33..55..22.. 滤波 由于摄像头镜头加装了红外带通滤光片，可见光可以有效地被阻挡，因此在摄像头捕获的画 面上基本只含有手指对红外激光的反射。 图：红外带通滤光片有效地过滤了可见光干扰 对于这样的画面基本上是可以直接进行后续的视觉处理的，不过一般我们还需要额外进行几 个步骤：灰度化、高斯滤波、阈值化、形态学滤波 灰 度化即将原先RGB 色彩的彩色图像转化成灰度图，因为后续的视觉算法并不关心色彩 信息，但需要反射光亮度，使用灰度表示后可以大幅加速处理速度。高斯滤波 (Gauss Filter)、 阈值化（Threshold）、形态学滤波（Morphology Filter）用于过滤画面中的噪点并且使得反射 光斑变得平滑和连贯。如果不熟悉这部分概念，可以参考Digital Image Processing一书[8]。 这几步操作在OpenCV 中均有对应函数可以实现。 电子电路网（） 电子电路网（） 图：对图像进行各类滤波处理后的效果 上图展现了经过上述滤波算法后，手指尖激光反光光斑处理后的效果。可以看到，原先光斑 外围的反射光干扰以及两个比较靠近的指尖之间“黏连”的光斑已经有效地过滤掉了。通过一 系列的滤波过程，使得我们可以很精确的求出指尖的坐标。 3.6. 3.6. 33..66.. 兴趣点提取 可 以使用OpenCV 提供的cvFindContours 对先前与处理得到的光斑画面进行轮廓提取，进 而求解出每个光斑区域在图像中的位置。进一步的，我们 通过质心法并以光斑亮度作为权 重，可以大致求解出每个指尖中心的大致坐标。虽然这个中心坐标未必真的在指尖中心，但 相比简单的以光斑区域中心作为指尖中心 的方法要精确很多。 图：使用轮廓提取手段提取出来的手指区域坐标 3.7. 3.7. 33..77.. 手指坐标计算和校正 在得到了手指光斑中心点相对于画面坐标之后，可以通过三角测距的方法，把手指在桌面平 面内的坐标P(x,y)求出来。 该过程可以类比在激光3D 测距中的算法，如下图所示： 电子电路网（） 电子电路网（） 图：将