神网络实践指南：前馈、循环与卷积网络实现.pdfVIP

第2章人工神经网络实践代码

2.2.3前馈神经网络实践

使用NumPy实现一个前馈神经网络。

首先，引入NumPy包、生成数据及定义神经网络的层数。

然后，准备好激活函数，输出层使用sigmoid函数，其它层使用ReLU：

在代码中，我们定义了forward()前向函数和backward()反向函数。然后定义全连接

层，注意此处的全连接层不带激活函数：

定义使用的损失函数，其中返回值loss为损失值，dy为梯度：

建立前馈神经网络模型：

训练模型：

训练过程如下，可以看到loss持续降低：

2.3.5循环神经网络实践

本节将使用NumPy实现循环神经网络，并实现一个语言模型的训练过程。为了训练语

言模型，我们需要若干文本作为训练语料。作为示例，采用PennTreeBank（PTB）语料的

开发集（valid）用作训练。

首先，我们使用NLTK工具对语料进行分词处理，并将每一个单词转换成一个唯一的

数字，以适合神经网络的处理。

创建RNN模型，

2.4.2卷积神经网络实践

在本节使用NumPy实现卷积神经网络（CNN），