人工智能基础与实践第11章《先进神经网络架构》.pptx

;;;

人脑每个时刻接收的外界输入信息非常多，包括来源于视觉、听觉、触觉各种各样的信息

单就视觉来说，眼睛每秒钟都会发送千万比特的信息给视觉神经系统

人脑在有限的资源下，并不能同时处理这些过载的输入信息

人脑通过注意力来解决信息超载问题（记忆、阅读、思考）

我们可以借鉴人脑解决信息过载的注意力机制来提高神经网络处理信息的能力;;;

前馈网络与循环网络受到优化算法及计算能力的限制

处理大量输入信息或复杂计算流程时，计算机的计算能力成为瓶颈

减少计算复杂度：局部连接、权重共享、汇聚操作简化神经网络结构

虽然可有效缓解模型的复杂度和表达能力之间的矛盾，但依然希望在不“过度”增加模型