特征融合的分类和方法.pdfVIP

特征融合的分类和⽅法 1、特征融合的定义 特征融合⽅法是模式识别领域的⼀种重要的⽅法，计算机视觉领域的 像识别问题作为⼀种特殊的模式分类问题，仍然存在很多的挑战，特 征融合⽅法能够综合利⽤多种 像特征，实现多特征的优势互补，获得更加鲁棒和准确性的识别结果。 2、特征融合的分类 按照融合和预测的先后顺序，分类为早融合和晚融合 （Early fusion and Late fusion） 早融合 （Early fusion） ：就是在特征上进⾏融合，进⾏不同特征的连接，输⼊到⼀个模型中进⾏训练。 （先融合多层的特征，然后在融合 后的特征上训练预测器，只有在完全融合之后，才进⾏检测。）这类⽅法也被称为skip connection,即采⽤concat、add操作。这⼀思路的 代表是Inside-Outside Net (ION)和HyperNet. 两个经典的特征融合的⽅法 ： （1）concat ：系列特征融合，直接将连个特征进⾏连接。两个输⼊特征x和y的维数若为p和q，输出特征z的维数为p+q。 （2）add：并⾏策略，将这两个特征向量组合成复合向量，对于输⼊特征x和y ，z=x+iy ，其中i是虚数单位。 晚融合 （Late fusion） ：指的是在