人工神经网络应用钻研.docxVIP

人工神经网络应用钻研

目录

文档概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.1.1智能计算发展趋势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

1.1.2人工神经网络重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

1.2文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

1.2.1国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

1.2.2存在问题及挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

1.3研究目标与内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

1.3.1核心研究问题．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

1.3.2主要研究内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

人工神经网络基础理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

2.1基本概念与原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

2.1.1模式识别理论框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

2.1.2权值学习机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

2.2神经网络模型结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

2.2.1常见网络拓扑．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

2.2.2激活函数特性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

2.3学习算法与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

2.3.1梯度下降优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

2.3.2基于规则的优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．51

人工神经网络典型模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

3.1前馈神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

3.1.1单层感知机模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．55

3.1.2多层感知机模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．56

3.2卷积神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．58

3.2.1特征提取机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．62

3.2.2图像识别应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．65

3.3循环神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．70

3.3.1序列数据处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．73

3.3.2语言模型构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．75

3.4深度信念网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．78

3.4.1自编码器结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．81

3.4.2无监督学习应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．83

人工神经网络应用领域．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．84

4.1自然语言处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．91

4.1.1文本分类技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．92

4.1.2机器翻译系统．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．