基于多目摄像机的鲁棒眼动跟踪技术研究.pdfVIP

测控技术

·５８·２０２２４１１２数据采集与处理

年第卷第期

基于多目摄像机的鲁棒眼动跟踪技术研究



谢子翰，顾宏斌，吴东苏

（南京航空航天大学，江苏南京２１１１０６）

摘要为改进单个远程传感器采集眼动数据时存在视场小容易被遮挡物遮挡的缺点研究了一种多目

：、，

摄像机眼动跟踪技术，以更好地采集眼动数据。应用多个摄像机对人体头部姿态和眼球信息进行采集，

通过分割视频帧提取瞳孔图像和计算被测用户头部姿态角度，将瞳孔图像放入卷积神经网络进行训练

得到注视点坐标并基于头部姿态信息计算每个摄像机的注视点权重从而加权融合得到更精确的注视

，，

点信息研究结果表明在头部姿态角较大时多目眼动追踪技术的精度比单目传感器的精度高３０％～

。：，

。，、

５０％该技术具有灵活性和通用性在驾驶舱设计用户用眼习惯评估和驾驶学员眼动绩效分析中具有

重要的应用和推广价值。

关键词：眼动跟踪；头部姿态评估；加权融合；多目摄像机

中图分类号ＴＰ２９Ｖ３２３文献标志码Ａ文章编号１０００－８８２９２０２２１２－００５８－０８

：；：：（）

ｄｏｉ：１０．１９７０８／ｊ．ｃｋｊｓ．２０２２．０２．２２４

ＲｏｂｕｓｔＥｙｅＴｒａｃｋｉｎｇＴｅｃｈｎｏｌｏｇｙＢａｓｅｄｏｎＭｕｌｔｉＣａｍｅｒａ



ＸＩＥＺｉｈａｎ牞ＧＵＨｏｎｇｂｉｎｇ牞ＷＵＤｏｎｇｓｕ

牗ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＡｅｒｏｎａｕｔｉｃｓａｎｄＡｓｔｒｏｎａｕｔｉｃｓ牞Ｎａｎｊｉｎｇ２１１１０６牞Ｃｈｉｎａ牘

Ａｂｓｔｒａｃｔ牶Ｔｏｉｍｐｒｏｖｅｔｈｅｓｈｏｒｔｃｏｍｉｎｇｓｏｆａｓｍａｌｌｆｉｅｌｄｏｆｖｉｅｗａｎｄｅａｓｙｔｏｂｅｂｌｏｃｋｅｄｂｙｏｂｓｔｒｕｃｔｉｏｎｓｗｈｅｎａ

ｓｉｎｇｌｅｒｅｍｏｔｅｓｅｎｓｏｒｃｏｌｌｅｃｔｓｅｙｅｍｏｖｅｍｅｎｔｄａｔａ牞ａｍｕｌｔｉｃａｍｅｒａｅｙｅｔｒａｃｋｉｎｇｔｅｃｈｎｏｌｏｇｙｉｓｓｔｕｄｉｅｄｔｏｂｅｔｔｅｒ

ｃｏｌｌｅｃｔｅｙｅｍｏｖｅｍｅｎｔｄａｔａ．Ｍｕｌｔｉｐｌｅｃａｍｅｒａｓａｒｅｕｓｅｄｔｏｃｏｌｌｅｃｔｈｕｍａｎｈｅａｄｐｏｓｔｕｒｅａｎｄｅｙｅｂａｌｌｉｎｆｏｒｍａｔｉｏｎ．

Ｔｈｒｏｕｇｈｅｘｔｒａｃｔｉｎｇｔｈｅｐｕｐｉｌｉｍａｇｅｓｂｙｓｅｇｍｅｎｔｉｎｇｖｉｄｅｏｆｒａｍｅｓａｎｄｃａｌｃｕｌａｔｉｎｇｔｈｅｈｅａｄｐｏｓｔｕｒｅａｎｇｌｅｏｆｔｈｅ

ｍｅａｓｕｒｅｄｕｓｅｒ牞ｔｈｅｐｕｐｉｌｉｍａｇｅｓａｒｅｐｕｔｉｎｔｏｔｈｅｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｆｏｒｔｒａｉｎｉｎｇｔｏｏｂｔａｉｎｔｈｅｆｉｘａｔｉｏｎ

ｐｏｉｎｔｃｏｏｒｄｉｎａｔｅｓ牞ａｎｄｔｈｅｗｅｉｇｈｔｏｆｅａｃｈｃａｍｅｒａｓｇａｚｅｐｏｉｎｔｉｓｃａｌｃｕｌａｔｅｄｂａｓｅｄｏｎｔｈｅ