一种用于自然光的视野跟踪系统.docxVIP

一种用于自然光的视野跟踪系统 1 红外光动态视线跟踪技术 面部跟踪是评估用户视觉方向的技术。广泛应用于人类疾病和疾病的诊断和治疗领域，如辅助残疾人、车辆安全驾驶、市场研究和广告分析、认知障碍诊断和虚拟现实。随着电子技术、计算机技术、图像处理技术的迅速发展,基于眼睛视频图像处理的视线跟踪技术逐渐成为当前的研究热点,该技术具有对使用者干扰少、精度高和操用简单等优点,其基本工作原理为:先利用摄像机获取人眼或脸部图像,然后用软件实现图像中人脸和人眼的定位与跟踪,从而估算用户在屏幕上的注视点位置。 在基于眼睛视频图像处理的视线跟踪技术中,使用瞳孔-角膜反射(PCCR)方法较为普遍,即通过一个或多个红外光源照射眼部,由于眼睛瞳孔对红外光的反射和吸收与眼睛其他部分不同,因此很容易在眼睛图像中定位到瞳孔中心,同时眼睛角膜在红外光照射下会在角膜表面产生亮斑,根据瞳孔中心与角膜亮斑的相对位置关系,使用基于二维映射的视线估计方法或直接的三维视线估计方法,可以计算出视线方向。然而,基于主动红外光的视线跟踪方法使用起来有很多限制:1)红外光会受室外光线的影响,因而在室外无法使用;2)红外光源与摄像机之间的相对位置需要复杂的标定过程;3)瞳孔和角膜反射亮斑通常在图像中较小,因而需要分辨率较高的摄像机;4)对于戴有眼镜的使用者,眼镜镜面对红外光会产生反射亮斑,会对角膜亮斑的提取产生干扰而导致视线跟踪算法的失效。 目前,也有很多在自然光条件下的视线跟踪方法。如文献使用双摄像机,其中一个摄像机用来估计使用者的头部姿态,另一个摄像机用来跟踪眼睛,先通过标定算法获得眼睛视线模型的参数,然后结合头部姿态,得到眼睛在空间中的视线方向;文献利用眼睛虹膜在摄像机拍摄的图像中投影映射为椭圆,然后根据椭圆的形状特征来估计人眼视线;文献直接利用眼睛虹膜中心与眼角的相对位置关系来估计人眼视线。但是以上的方法还存在一定的缺点:1)标定过程对使用者限制较多,如文献视线跟踪标定过程中需要使用者保持头部静止不动,不够人性化;2)采用的眼睛视线模型没有考虑到眼睛视轴与光轴之间存在的夹角,精度不高,如文献。 针对以上的问题,通过双目立体视觉系统获取眼睛特征和头部姿态参数,构建了一种在自然光条件下允许头部在较小范围内自然移动的视线跟踪系统。对双目立体视觉系统进行标定,获得摄像机内外参数,同时确定双摄像机的相对位置,建立统一的世界坐标系,对于视线跟踪系统中的特征点使用双目立体视觉系统来获取其空间三维坐标。提出了一种视线跟踪系统中的个人参数标定方法和头部姿态估计方法,先对使用者进行个人参数标定,获得使用者眼球中心在头部坐标系中的坐标、眼睛视轴与光轴的夹角,然后结合头部姿态估计结果,获得人眼视线在空间中的视线向量;最后,对屏幕空间位置进行标定,获得屏幕平面在世界坐标系下的平面方程,通过求取眼睛视线向量与屏幕平面的交点,得到最终的视线估计值。 2 面部跟踪系统 2.1 数字视频监控系统 构建的视线跟踪系统如图1所示,具体的硬件设备为:两台UNIQ公司生产的分辨率为1380pixel×1030pixel的UP-1800/UP-1800CL摄像机、Matrox Solios图像采集卡、处理器为Core2的计算机、19inch(48.26cm)的Dell液晶显示器。使用者在使用时,戴着头戴式标定板注视屏幕,由设立在屏幕前方的双摄像机分别获取人脸图像,然后通过图像采集卡传到电脑主机,通过对提取到的特征参数进行处理,获得眼睛视线与屏幕的交点来得到眼睛视线估计值。 2.2 视力点的估计 根据眼睛的结构,采用图2中简化的眼睛视线模型,定义眼球为一个几何中心为Q,半径为r的圆球体,眼睛虹膜中心P和中央凹F为圆球体表面上的点。眼球的光轴为眼球中心到虹膜中心的连线,眼睛的视轴为中央凹到虹膜中心的连线,眼睛的视线估计点为眼睛视轴与空间平面的交点。眼睛以眼球中心为旋转中心转动眼球来改变视线方向,因此当头部移动时,可以认为眼球中心与头部相对静止。 由于中央凹并不在人眼光轴轴线上,所以眼睛视线方向与眼睛光轴存在一定的夹角,也称之为Kappa角。眼睛视轴与光轴在水平方向上的夹角大约为5°,其中左眼5°左右,右眼-5°左右,垂直方向上的夹角大约为2°~3°,Kappa角因人而异,并没有固定值。由于眼睛的视线结构较为复杂,眼睛视轴方向一般不能直接得到,通常需要在估计到眼睛光轴方向后,加入眼睛视轴与光轴之间的补偿夹角,即Kappa角,进而得到眼睛视线方向。 为了更好地描述眼睛视轴与光轴之间的空间位置关系,建立如图3所示的空间坐标系,坐标系中的X轴、Y轴、Z轴分别与世界坐标系的XW轴、YW轴、ZW轴平行,眼睛光轴与坐标系水平方向和垂直方向的夹角分别为θ和φ,则眼睛光轴在世界坐标系下的单位向量可表示为 且θ和φ可以通过光轴在空间中的单位向