一个神经元的ResNet就是一个通用的函数逼近器.pdfVIP

  • 0
  • 0
  • 约小于1千字
  • 约 1页
  • 2020-10-30 发布于天津
  • 举报

一个神经元的ResNet就是一个通用的函数逼近器.pdf

一个神经元的 ResNet 就是一个通用的函数逼近器 MIT CSAIL 的研究人员发现, 隐藏层仅有一个神经元的 ResNet就是一个通用 的函数逼近器,恒等映射确实加强了深度网络的表达能力。研究人员表示,这一发现还填 补了全连接网络表达能力强大原因的理论空白。 深度神经网络是当前很多机器学习应用成功的关键,而深度学习的一大趋势,就是神经网 络越来越深:以计算机视觉应用为例,从最开始的 AlexNet ,到后来的 VGG-Net ,再到最 近的 ResNet,网络的性能确实随着层数的增多而提升。 研究人员的一个直观感受是,随着网络深度的增大,网络的容量也变高,更容易去逼近某 个函数。 因此,从理论方面,也有越来越多的人开始关心,是不是所有的函数都能够用一个足够大 的神经网络去逼近? 在一篇最新上传 Arxiv 的论文里, MIT CSAIL 的两位研究人员从 ResNet 结构入手,论证 了这个问题。 他们发现, 在每个隐藏层中只有一个神经元的 ResNet,就是一个通用逼近函 数,无论整个网络的深度有多少,哪怕趋于无穷大,这

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档