- 0
- 0
- 约小于1千字
- 约 1页
- 2020-10-30 发布于天津
- 举报
一个神经元的 ResNet 就是一个通用的函数逼近器
MIT CSAIL 的研究人员发现, 隐藏层仅有一个神经元的 ResNet就是一个通用
的函数逼近器,恒等映射确实加强了深度网络的表达能力。研究人员表示,这一发现还填
补了全连接网络表达能力强大原因的理论空白。
深度神经网络是当前很多机器学习应用成功的关键,而深度学习的一大趋势,就是神经网
络越来越深:以计算机视觉应用为例,从最开始的 AlexNet ,到后来的 VGG-Net ,再到最
近的 ResNet,网络的性能确实随着层数的增多而提升。
研究人员的一个直观感受是,随着网络深度的增大,网络的容量也变高,更容易去逼近某
个函数。
因此,从理论方面,也有越来越多的人开始关心,是不是所有的函数都能够用一个足够大
的神经网络去逼近?
在一篇最新上传 Arxiv 的论文里, MIT CSAIL 的两位研究人员从 ResNet 结构入手,论证
了这个问题。 他们发现, 在每个隐藏层中只有一个神经元的 ResNet,就是一个通用逼近函
数,无论整个网络的深度有多少,哪怕趋于无穷大,这
您可能关注的文档
- 【版2014宁波二模】浙江省宁波市2014届高三第二次模拟考试数学理试题版含答案.pdf
- 【物理】四川省成都七中2014-2015学年高一上学期期末试卷.pdf
- 【物理】天津一中2015-2016学年高一上学期期中试卷.pdf
- 【物理】高考预测试题(3)选择题(20200420093752).pdf
- 【理科综合试题】云南师大附中2018届高考适应性月考卷(二)理科综合试题.pdf
- 【甘肃兰州、张掖一诊】甘肃省兰州市、张掖市高三第一次诊断考试历史试题含解析.pdf
- 【生物】广东省中山市2015-2016学年高一上学期期末考试.pdf
- 【生物】河北省保定市2015-2016学年高一上学期期末考试.pdf
- 【生物】重庆市南开中学2015-2016学年高二下学期期中测试.pdf
- 【知识点】初中数学你必须掌握的60个易错点!.pdf
- 一个端到端的深度学习系统,可以将足球比赛的YouTube视频转换为运动的3D全息图.pdf
- 一个简化的PCIe总线体系结构.pdf
- 一个简单、有用、无风险的模拟电路.pdf
- 一个简单地的例子来回顾PCIe总线的结构、事务层、数据链路层和物理层.pdf
- 一个算法如何实现多项精细操作如何让机器人有触觉.pdf
- 一个精益实惠的点单式程序PASS(高端应用支持服务).pdf
- 一个能够分析人类大脑活动复杂模式的算法.pdf
- 一个能通过空间条件坐标和隐变量生成图像片、并合成完整图片的网络模型.pdf
- 一个让Python代码运行更快的最佳方式是什么.pdf
- 一个软件工程师的软硬件协同开发应对经验浅谈.pdf
原创力文档

文档评论(0)