基于多数据融合的幻影成像自然手势交互系统设计.pdfVIP

摘要

摘要

幻影成像相较于传统的二维平面展示，能直观地反映出物体的三维立体特征，常

用于文物数字模型的展示。本文针对文物数字模型的幻影成像展示及交互需求，通过

对骨骼信息、深度数据、光照强度、红外特征及空间位置等多数据融合建模，利用不

同手势数据之间的信息互补，构建了可见光和低光昏暗环境下的自然手势交互系统，

实现了多数据融合的幻影成像自然手势交互。

针对可见光环境下单一模型需要局部特定展示的需求，构建了基于Mediapipe的幻

影成像自然手势交互系统。利用单目相机对自然手势进行动作采集，针对不同身高人

群手部活动范围，计算了单目相机最优捕获位置，实现了140cm~190cm人群高度的

手势识别。采用Mediapipe机器学习框架对捕获的手势图像实时遍历，获得单帧手掌的

标定位置。结合21个特征关节点的手掌模型，使用非极大值抑制算法对自遮挡的手掌

进行识别，根据欧式空间距离判别阈值和单个手指曲率对指间动作做出分类，定义幻

影成像常用5种交互动作，通过坐标关系建立了指尖和模型特征点之间的实时映射，

达到了幻影成像系统中手势控制虚拟模型进行局部区域灵活展示的要求。

针对低光昏