神经网络优化算法及其性能提升研究.docxVIP

神经网络优化算法及其性能提升研究

目录

内容概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2神经网络优化问题概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.3国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.4本文主要研究内容与结构安排．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

神经网络基础理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.1神经网络模型构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.2神经网络学习机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.3神经网络性能评估指标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

传统神经网络优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.1梯度下降算法及其变种．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.2随机优化算法．．．