基于四元数卷积核编码方式研究.docVIP

基于四元数卷积核编码方式研究 　　摘要：近年来，随着人工智能的飞速发展，深度学习领域也得到了极大关注。卷积神经网路是深度学习研究领域中的一个重要方向。然而现有的卷积神经网路模型在卷积核层面只能处理二维数据。鉴于此目的，该文提出四元数卷积神经网络模型（Quaternions Convolutional Neural Network，QCNN），目的是在卷积核层面可以处理三维数据，充分挖掘图像信息。该文首先介绍了四元数神经元模型，然后提出了四元数感受野模型、四元数卷积神经网络的输入和四元数特征图生成模型，创建了四元数卷积神经网络，并层次递进的构建了四元数卷积神经网络模型的拓扑结构，最后用四元数BP算法训练学习整个网络。QCNN将CNN的数据处理从2维扩展到3维，并利用四元数的代数几何理论，充分融合不同维度的特征信息。 　　关键词：卷积神经网路；四元数；四元数编码 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）31-0269-04 　　1 绪论 　　近年来，随着人工智能的飞速发展，深度学习领域也得到了极大关注。深度学习是模式识别和机器学习研究领域中的一个新的方向。其中卷积神经网络（Convolution Neural Network ，CNN）通过对样本的自动学习，根据系统需要解决问题的复杂度，抽取样本的局部特征计算比较，从而推理形成一个自动学习特征的识别系统。Cire?an等利用multi-stage卷积神经网络识别分类[1]。这种方法仅仅以图像为单位，没有利用视频中每一帧的关联信息。Karpathy介绍了通过改变第一个卷积层的结构，使它可以接受多个帧作为输入，然后隐层融合特征[2]。但是这些都是基于传统卷积神经网络结构，并没有改变神经元和特征图的传导方式，对于信息的融合并不是特别充分。 　　基于四元数对彩色图像的识别技术已经得到一定发展和实际应用，最广泛的做法是将彩色图像的RGB通道编码在四元数的三个虚轴上，从四元数理论上做数学分析。郎方年等和黎云汉等[3-4]将四元数主成分分析（Quaternion principal component analysis， QPCA） 应用于彩色人脸识别； Lu等[5]基于四元数理论提出了局部四元数 Gabor二值模块描述子的算法， 并且在文中和文献 [35]中的算法进行了对比； Ding 等[6]利用四元数K-L变化（Quaternion K-L Transform）和仿生模式识别方法（Biomimetic Pattern Recognition）进行人脸识别； Sun 等[7]基于QPCA提出了两种彩色人脸识别的算法， 分别是基于四元数的二维PCA （2D Principal component analysis， 2DPCA）和基于四元数的双向PCA （Quaternion bidirectional PCA， QBDPCA）。另外，也有将四元数拓展到BP神经网络的研究和应用[8]。而且，有一些研究者已经基于克利福德（Clifford）代数提出克利福德神经网络（CliffordNeuralNetworks）。目的是为四元数以及四元数神经网络建立一个统一的理论基础[9]。 　　鉴于以上背景，本文基于四元数理论框架和卷积神经网络结构，提出了四元数卷积神经网络模型。 　　2 系统结构 　　传统的卷积神经网络输入只能是一个灰度图，所以它的输入和卷积核都是标量，只能是2维数据的输入，这样丢失了数据不同维度之间的相关性，损失了大量信息。在彩色图像的各种表示方法中，目前四元数的表示方法颇为流行，可以将彩色图像的RGB通道编码在四元数的三个虚轴上。结合传统CNN和四元数理论，本文提出了一种基于四元数的卷积神经网络结构，主要思想是将输入和卷积核都扩展为四元数，利用四元数的性质进行前向和反馈，训练整个四元数卷积神经网络。 　　四元数卷积神经网络模型如图1所示，本文会将网络模型分为四元数神经元模型，四元数感受野模型、四元数卷积神经网络的输入、四元数特征图生成模型、四元数卷积神经网络的下采样和全连接介绍，并相应阐述它的拓扑结构，最后介绍四元数卷积神经网络的学习算法。 　　2.1 四元数代数和几何理论 　　四元数代数和几何理论是四元数卷积神经网络的理论基础，本小节先介绍四元数的代数定义，再介绍四元数三维空间的几何理论。 　　四元数是复数的推广，将复数的一个虚部扩展为三个虚部，其定义如下： 　　[q=qr+qii+qjj+qkk]，[q∈K4] （1） 　　其中，[qr]为[q]的实部，记为[Req=qr]，[qii+qjj+qkk]为[q]的虚部，记作[Imq=qii+qjj+qkk]，[K4]表示四元数集合。 　　三个虚部满足如下法则：