多光谱行人检测..docxVIP

[多光谱行人检测]多光谱行人检测 摘要行人检测是人体姿态恢复与行为分析中的一个重要问题，特别是在应用程序，如视觉监视，机器人技术和驾驶援助系统。最近，大多数的机器学习和信号的行人检测方法在传统的自然图像处理中取得了先进的性能。不过行人检测的准确性存在限制。这背后的原因是用于检测行人的信息是有限的。事实上，频谱可见光可以提供丰富的歧视性信息的行人检测。因此，它是有意义的实施检测任务的多光谱信息。这在本文提出了一种基于多光谱的行人检测方法，该方法不仅利用红色的信息，绿色和蓝色（RGB），而且还融合了近红外光谱信息在检测过程中的信息。潜变量支持向量机（L-SVM）来训练的多光谱检测模型。在一个新的数据集包含1826个多光谱的实验图像对。实验结果表明，利用多光谱信息相比与只使用RGB信息对行人检测有着更显著的改善。1 介绍 行人检测是人体姿态恢复与行为分析中的重要组成部分。行人检测赋予人类通过机器学习和信号处理技术进行交互的能力，行人检测最近已经提出了许多算法。最流行的行人检测方法是基于模板的方法，采用预先训练的二进制分类，以确定是否有一个行人在滑动窗口内或不在。一系列的行人检测方法可以受益于低层次的特点和培训方法。在[ 1 ]，采用Haar特征和Boosting分类器。在[ 6 ]，基于尺度不变特征变换（筛）[ 7 ]的启发，提出了一种基于梯度方向直方图的检测方法。在[ 8 ]的工作已经实验表明，功能优于其他功能的行人检测。然而，仍有一些挑战，如光照变化和包容。例如，整个人体的整体模板是有效的，只有当整个人都是可见的。为了处理闭塞的情况和各种手势，整个人体和身体部位之间的关系已被认为在[ 9至12 ]。在这些作品中，人体部位，如头部，手臂，上身和腿部，都考虑在内。除了整体的模板检测器，基于部分的检测器进行了探讨。在[11,12]可以自动决定部件的位置没有零件级监督对于未知部分的位置作为支持向量机的潜变量提出歧视为基础的方法（SVM）框架。最近，行人检测一直是一个热门的研究主题的可见光谱图像。一些研究人员转移了可见光谱图像的其他如红外[13,14]的方法。在[ 14 ]的研究表明，远红外（7–14μM）可提高人的检测性能，采用在[ 7 ]。然而，这些方法不能利用信息的多个谱带。这将导致一些限制，由于缺乏信息，从其他光谱波段。最近的研究表明，多视点学习整合了多种功能，为培训过程可以提高在许多应用中，图像检索等[ 28 ]的性能，图像重排序[ 29 ]和[ 30 ]，图像分类。这些方法证明，利用不同类型的信息，可以提供一个令人耳目一新的角度来解决问题的计算机视觉。有了这方面的考虑，多光谱信息提供了一种新的观点来更有效地学习世界。最近的研究已经表明在计算机视觉应用中的多光谱信息的有效使用。在[ 15 ]的工作表明，近红外（NIR）有红色弱依赖，绿和蓝（RGB）带而不是对方。因此，它提出了多光谱的颜色筛选描述符可以有效地利用多光谱信息，以提高识别分类性能。在[ 16 ]，近红外和可见光的线索是融合的皮肤增强。在[ 17,27 ]，近红外信息集成到显著性检测的框架，并取得了巨大的成功。在这些作品的灵感来自于多光谱的效用，本文探讨了一种新的想法，多光谱行人检测。在行人检测中，将近红外与可见光谱信息的信息融合的动机是如下。首先，虽然近红外可见光和红外之间，任何人都有不同的属性。与可见光相比，近红外光谱中物体的反射和吸收不同于可见光光谱。其次，用远红外相机相比，近红外相机具有更低的成本。在这项工作中，在行人检测中添加近红外信息的有效性进行了探讨。我们工作的主要贡献如下：提出了一种将可见光与近红外光谱相结合的行人检测框架。据作者所知，这是结合近红外波段实现RGB的行人检测任务的第一项工作。建立了一种新的多光谱数据集包含1826个注释行人NIR和RGB图像对。（3）在我们的多光谱行人数据集上的实验结果表明该方法利用多光谱信息获得比仅使用RGB信息的方法更好的性能。本文的其余部分组织如下。介绍了所提出的方法的细节。在第3节中，实验结果显示，对比不同的检测系统的性能，并没有多光谱信息。4节给出了本文的结论。2。多光谱数据集由于在计算机视觉中的近红外和可见光信息相结合的日益增加的应用，已经建立了几个数据集包含近红外图像。例如，CASIA数据库[ 18 ]多光谱掌纹识别，近红外–RGB数据[ 15 ]场景识别，人脸识别。这些数据集有助于推动他们的研究领域的创新。在本文中，我们尝试利用多光谱信息，以提高性能的行人检测。在这种情况下，以验证所提出的方法的性能，需要多光谱图像的行人数据集。然而，现有的大多数行人数据集只包含图像产生一个波段或RGB带。行人数据集的可见光，有几种流行的数据集包括INRIA [ 7 ]，加州理工学院[ 20 ]、[ 21 ]和TUD E