针对CUDA架构的深度时空推理网络.pdfVIP

摘要 模式识别研究的理论和方法在很多科学和技术领域中得到了广泛的重视，深 度学习系统作为一种模式识别方法，在过去几年受到极大地关注。目前，多核、 众核处理器已经成为计算设备的主流，然而，深度学习系统的训练时间较长的缺 陷依然没有改善，原因在于深度学习系统计算密度非常高，如何将深度学习系统 在并行系统中实现成为一个非常必要的研究课题。 由于模式识别涉及到很多复杂的问题，现有的理论和方法对于解决这些问题 还有很多不足之处。深度学习系统是一种受生物启发的方法，主要用于处理高维 信号。众所周知，高维信号往往可能涉及到跨度很大的时空信息，这就使得用一 般方法来表示高维信号成为一个极大地挑战。深度学习系统试图通过一种分层的 架构来克服这一挑战，这一架构的每一层都是由大量的具有类似功能的节点组成。 这与目前的主流方法不同，目前主流的方法是对高维信号进行预处理，以减少其 维度，但这样做常会得到一个次优的结果。 本文详细分析了TeslaGPU图形与计算架构和CUDA统一计算设备架构，针 对深度信念网络，卷积神经网络以及深度时空推理网络这三大典型深度学习系统 进行了研究与讨论，给出了深度时空推理网络的数据并行形式和CUDA实现方案， 在Tesla上实现了基于CUDA架构的深度时空推理网络的MNIST手写数字识别， 训练时间只有913秒(约15分钟)，而传统的深度时空推理网络在2．4GHz的 CPU上训练需要48小时，速度提高了约192倍，以测试结果验证了并行算法的设 计。 本文提出的深度时空推理网络的CUDA并行实现，不仅为其高速应用提供了一 种可行的方案，同时也为GPU在模式识别相关领域的应用奠定了基础，推动了人 工智能系统的发展，扩大了计算机应用的可能性，具有较强的理论研究和实际应 用价值。 关键词：CUDA；模式识别；深度学习系统 Abstract In scienceand andmethodsof recognition many锄．e嬲of technology，theoriespattem hasbeen isa learningsystem，whichpaaernrecognition widelyappreciated．Deep received attentionthe few and method，hassignificantduringpast years．Multi—COre arethemainstream the meantime，the many—coreprocessors ofcomputingsystems，in of remains duetothe of density trainingdeeplearningsystem time-consuming calculationis to the becomesall veryhigh．Howparallelizedeeplearningsystems essentialresearch topic． Pattem involves are recognition manycomplexissues，theremany always