神经网络核心原理入门.docxVIP

神经网络核心原理入门

目录

什么是神经网络？

生物神经元与人工神经元

神经网络的基本结构

层

输入层、隐藏层、输出层

连接权重

数据的前向传播(ForwardPropagation)

激活函数的作用

训练过程：误差与反向传播(Backpropagation)

目标：最小化误差

损失函数(LossFunction)

优化器(Optimizer)

权重更新

常见的神经网络类型

常见的层

卷积神经网络(CNN)

循环神经网络(RNN)

总结

1.什么是神经网络？

神经网络（NeuralNetwork）是一种受人脑神经元结构和工作方式启发的计算模型，属于机器学习领域的一种重要算法。它由大量的相互连接的单元（称为“神经元”或“节点”）组成，能够学习输入数据中的复杂模式，并用于预测或分类。

简单来说，神经网络是一种通过“学习”数据来找出其中规律并做出智能决策的计算机系统。

2.生物神经元与人工神经元

2.1生物神经元

生物神经元是大脑的基本功能单元。

它接收来自其他神经元的信号（电信号）。

这些信号通过树突传入神经元。

这些信号在细胞体中整合。

如果总输入信号强度超过某个阈值，神经元会“激活”，产生一个电信号（动作电位）沿着轴突传出。

动作电位最终通过突触传递给下一个神经元。

2.2人工神经元(感知机Perceptron)

为了模拟生物神经元，我们设计了人工神经元，也常称为感知机。

一个典型的人工神经元接收一系列输入信号x1,x2,...,xn。

每个输入信号xi都乘以一个权重w_i，这个权重表示该输入信号的重要性或影响程度。

信号加权求和：sum=w1*x1+w2*x2+...+wn*xn

添加一个偏置项b(bias)。偏置可以看作是输入的“默认值”，它允许神经元在输入和为0时也能被激活。

对加权求和结果进行激活函数(ActivationFunction)处理：

output=activation(sum)

最终输出一个信号（通常是0或1，或一个介于特定范围内的值，如0到1）。

核心思想：模拟生物神经元接收输入、加权求和、阈值判断（通过激活函数实现）并产生输出的过程。

3.神经网络的基本结构

多个人工神经元按照一定的连接方式组织起来就构成了神经网络。

3.1层(Layer)

网络的输出被视为它在某一抽象层次上对输入数据的表示，由这些神经元组成的集合称为“层”。

3.2输入层、隐藏层、输出层

输入层(InputLayer):接收原始输入数据。层数和每层神经元的数量取决于输入数据的特征维度，神经元数量通常等于输入特征的个数。

隐藏层(HiddenLayer):位于输入层和输出层之间。可以有一层或多层，网络“学习”核心模式的地方主要发生在这里。隐藏层的层数和每层的神经元数量是设计神经网络时的超参数，可以有很多种选择。

输出层(OutputLayer):产生网络的最终预测结果。输出层的神经元数量和激活函数取决于具体的任务类型（如分类任务的类别数，回归任务的维度等）。

3.3连接权重(Weights)

不同的层之间，以及有时层内部，神经元之间通过“连接”相互关联。

每个连接都有一个对应的“权重”。

权重的大小和正负决定了一个神经元的输出对该相邻神经元输入的影响程度和方式。

神经网络的核心思想之一就是“学习”：通过调整这些连接权重，使得网络的输出尽可能接近期望的目标。

示例结构：输入层-(隐藏层1)-(隐藏层2)-(输出层)是一种常见的结构。

4.数据的前向传播(ForwardPropagation)

数据如何通过神经网络进行处理？这个过程称为前向传播。

输入数据首先被送入输入层。

每个输入数据点被传递到输入层的所有神经元。

输入层的每个神经元接收一定数量的来自上一层的输入（上一层的输出或初始输入），对输入进行加权求和，并加上偏置，然后通过激活函数得到输出，作为下一层神经元的输入。

信号逐层传递：隐藏层接收到来自前一层（输入层或其他隐藏层）的输入，重复加权求和、加偏置、激活函数的过程。

最终，信号到达输出层，输出层生成最终的预测结果或输出值。

这个过程的计算可以表示为一个深度递归或迭代计算。

激活函数(ActivationFunction)的关键作用：

为神经网络引入了非线性(Non-linearity)。

如果没有激活函数，无论神经网络有多少层，其最终输出都将是第一层输入的一个线性变换（简单的乘加运算），这限制了网络学习复杂模式的能力。

常见的激活函数包括：

Sigmoid:输出范围在(0,1)，适用于二分类的输出层或中间层。

Tanh(双曲正切):输出范围在(-1,1)，比Sigmoid性能