基于R-D图像手与物体分割方法研究.pdfVIP

基于RGB‑D图像的手和物体分割用于与平面的交互

HenriqueWeber，ClaudioRositoJung∗DanGelb

信息学院HPLabs

南里奥格兰德大学帕洛阿尔托，加利福尼亚州，

一个触摸屏，这也是同一家公司创建的LightTouch设备

我们提出了一种新的方法，用于使用RGB‑D相机进行手的。它可以检测动作并将投影图像转化为虚拟触摸

部和物体分割，适用于涉及交互平面的基于手势的人机屏，因此用户可以通过触摸图像来控制投影仪并与应用进

接口（HCIs）。该技术包括使用时间一致性的行交互。一种基于手势的自然用户界面（UI）在[1],中被

RANSAC版本检测交互平面，随后通过结合深度和色度提出，作者在其中使用了投影仪和RGB‑D相机

梯度的能量函数，利用基于标记的分水岭变换来分割非（Kinect），并结合Optitrack6DOF系统来识别

平面物体。实验结果表明，即使手部非常接近交互平面帧之间的物体。Kinect与Optitrack的反射标记的

时，我们的方法仍能对其进行分割，而传统的基于距离结合使得触摸、物体和轮廓，以及物体的位置、方向和可

阈值的方法则无法做到这一点。见性得以检测。然而，标记的使用限制了其应用范围。

一些其他方法探索使用RGB‑D相机在没有标记的情

索引术语—手部分割，RGB‑D图像，分水岭变换。

况下进行手部分割，通常是在手势识别的背景下。一些

3

商业应用包括iiSu中间件，由SoftKinetic，以及

4

1.引言LeapMotionVi-sualizer,软件，该软件与LeapMotion配

合使用，该设备使用两个相机和红外LED来生成观测场

新型传感和显示技术的出现，推动了交互系统的发展，这景的3D位置数据。LeapMotion设计用于手部处于前景

些系统可以将墙壁和桌子等日常表面转变为交互平面。更且与背景有显著空间分离的场景。正如在[2],科学

广泛地说，这一研究领域属于普适计算（ubiquitous中最常见的方法所的那样，仅使用深度阈值来分离

computing），其目标是使计算资源变得可、无缝和手部，假设用户正对相机并将双手举在身前[3,4]。在

分布式。