一些人会怀疑:难道神经网络不是最先进的技术?.pdfVIP

  • 6
  • 0
  • 约1.01千字
  • 约 1页
  • 2020-10-30 发布于天津
  • 举报

一些人会怀疑:难道神经网络不是最先进的技术?.pdf

一些人会怀疑:难道神经网络不是最先进的技术? 编者按:在机器学习面前,我们都像一个孩子。当刚学会反向传播算法时, 许多人会不满足于最基础的感知器,去尝试搭建更深、层数更多的神经网络。他们欣赏着 自己的实现, 就像沙滩上的孩子骄傲地看着自己用泥沙堆起来的城堡。 但和城堡的徒有其 表一样,这些神经网络的性能往往也难以令人满意,它们也许会陷入无休止的训练,也许 准确率永远提不上来。这时,一些人就会开始怀疑:难道神经网络不是最先进的技术? 类似的怀疑,谁都有过—— 神经网络的训练过程包括前向传播和反向传播两个部分, 如果前向传播得到的预测结果和 实际结果不符,这就说明网络没有训练好,要用反向传播去重新调整各个权重。这之中涉 及各种常见的优化算法, 以梯度下降为例,它的思路是把当前梯度的负值方向作为搜索方 向,通过调整权重使目标函数趋近局部最小值,也就是让代价函数 / 损失函数越来越小。 如上式所述,梯度下降算法用原权重减去乘上标量 α (0 到 1 之间)的梯度来更新权重, 并“重复”这一

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档