预测人眼扫视路径新方法.docVIP

预测人眼扫视路径新方法 　　摘 要 人眼扫视路径预测旨在利用计算模型模拟人眼在自由无约束的观测条件下注意力移动的方式。在以前的研究工作中，人们利用了低层次特征、手工设计的高层次特征、扫视幅度和记忆因素，但这些并不能完美地诠释人眼视觉系统的机制。在这篇论文中，我们提出了一个在预测人眼扫视路径时考虑更多影响因素的综合性方法，该方法包括四个特征：低层次特征，扫视幅度，通过深度卷积神经网络学习得到的语义特征，以及包括短时记忆和长时记忆两个方面的记忆因素。通过计算一张图像中所有候选区域的概率，下一个关注点的位置就可以由拥有最大概率值的区域所选定。并进行了实验验证我们提出的方法的优越性。值得一提的是，在预测扫视路径时，注视时长作为一个关键因素是首次被用来对记忆建模。 　　【关键词】扫视路径预测 高层次特征 记忆因素 注视时长 　　1 背景 　　视觉注意是我们视觉系统中的一个基本处理过程，它能帮助我们将有限的处理资源分配到视觉场景中最重要的部分。目前预测人眼扫视路径的研究存在许多的缺陷。首先，各种各样低层次特征的影响都有所讨论，但高层次特征却没有提及。其次，记忆（包括短时记忆和长时记忆）因素也被忽略。[2]中张豹提到工作记忆会在视觉搜索过程中引导注意偏向到与之具有相同特征的项目。[3]中李姣婧由实验得到由短时记忆输入到工作记忆的内容会自动捕获注意，长时工作记忆内容对注意的引导更加灵活。如何建模并将其融入却并未解决。 　　另外，注视时长是人们在观看一幅图像时专注于一个关注点所持续的时长，它和人们的记忆以及行为都有着密切的联系。[4]中邓丹提到注视时间对视觉选择性注意有影响。而[5]中杨乐通过实验得出工作记忆和注视时间交互作用显著。因此通过注视时间对记忆效应建模是个较好的选择。所以，我们提出一个结合低层次特征、语义特征、扫视幅度、长时记忆和短时记忆的综合性办法。 　　2 方法 　　给定第n-1个关注点，我们的目标是预测第nth个关注点最可能的位置。首先，我们用图像的超像素取代像素作为最基本的处理单元，并用[6]的方法对超像素进行分割。然后我们计算出低层次特征、高层次特征、扫视幅度和记忆因素这四个特征对每个超像素候选区域的影响程度（用概率表示），最后，把所有的概率相乘，将得出最大结果的候选区域作为第nth个关注点。 　　给定一个图像I，首先我们将它分割成M个超像素，然后选择出第nth个关注点的目标函数就可以用以下公式表示： 　　R（n）=arg maxR（{pln （R）×phn （R）×psn （R）×pmn （R，d1，…，dn） }RI）， （1） 　　其中，pln （R），phn （R），psn （R）和pmn （R，d1，…，dn）分别是低层次特征、高层次特征、扫视幅度和记忆因素的概率，而dn是第nth个关注点的注视时长。R可以表示任一个超像素，记忆项pmn包括了返回抑制的影响。 　　得到每一种特征的概率很关键。我??将YUV颜色值和Gabor特征联系起来作为一个特征向量，然后计算pln （R）。我们通过Wang等人[7]的方法获得psn （R）。在本文中，我们专注于高层次特征的phn （R）和记忆因素的pmn （R，d1，…，dn）的计算。而注视时长dn是估计的，并用来为记忆因素建模。 　　2.1 高层次特征的概率phn（R） 　　我们用一个多层卷积神经网络（CNN）提取每个超像素中的高层次特征。每个超像素先被打包进一个范围框，然后送去CNN进行高层次特征提取，就像[8]中做的一样。从图1中可以看到这个网络结构的细节。 　　得到学习好的特征和两个全连接层，就得到了一个线性系统，我们可以用它来表示高层次特征吸引人眼注意的概率，这种概率可近似地表示为： 　　其中（.）是R的提取的特征，l是特征的维度。M是超像素的总数，线性系统的参数wi和bi通过特征学习同时获得。 　　2.2 注视时长dn的估计 　　为了获得一个可以估计任何一个数据集的注视时长的模型，我们用OSIE数据集建立了一个回归模型，这个数据集包含了20种影响注视时长的特征，同时还提供了真实数据。 　　我们用支持向量回归（SVR）来描述注视时长和这20种特征之间的关系。在SVR中，首先我们把所有的特征联系起来作为一个向量x∈R20，然后用径向基核函数（RBF）把这些特征映射到一个m维的特征空间。那么一个线性回归模型f（x，w）表示如下： 　　其中gi（x），（i=1，…，m）表示RBF的一系列函数，wi是在第ith个维度的特征相应的权重。y表示一个注视时长的真值，而d=f（x，w）表示注视时长的估计值。在训练阶段，SVR尝试通过最小化||w||2来降低模型的复杂性。因此SVR用公式表示为以下函数的最小值： 　　其中ξi=0和ξi*=0是两个