2026《深度学习相关理论基础综述》2600字.docVIP

PAGE

PAGE1/22

深度学习相关理论基础综述

2006年HINTON等人REF_Ref4373\r\h[6]借鉴大脑分层处理机制提出深度学习概念，试图模拟可以学习的智能“脑”。到20世纪90年代LECUN等人REF_Ref13125\r\h[7]提出的卷积神经网络(CNN)，使得深度学习更适合处理图像数据问题，随着后续研究深入逐渐发展成为了具有深度表征挖掘的深度卷积神经网络。另外在基于视觉的研究工作，大多需要重建3D目标，因此能够理解3D空间信息、捕获3D特征的3D深度卷积神经网络也应运而生。

1.1深度卷积神经网络

常规的深度神经网络中采用神经元之间全连接的形式，每一个神经元都要与下一层的所有神经元产生联系，这种连接形式很容易受输入数据形式或者隐层神经元数目的影响，导致参数数量膨胀，引起过拟合或者局部最优的问题。另外，常规神经网络不管输入数据是何种形式，在训练过程中都将输入数据压缩成向量来学习数据特征，这种方式对于需要保持空间结构的数据是非常不利的。比如对于图像数据，图像中的任何局部细节都是相互关联的，这种关联性对于学习数据特征非常重要，破坏了空间结构很可能导致网络对输入数据的理解产生偏差。因此，借鉴图像处理技术和神经网络的概念，卷积神经网络[6]被引入到深度学习中来。卷积神经网络与常规的神经网络类似，由具有学习能力的神经元组成