TASKS

神经网络中，单个神经元的结构，

了解一下激活函数的概念

了解一下全连接层的结构，了解全连接神经网络的前向传播的过程，

了解一下反向传播的概念和数学过程

了解全连接层的前向传播机制，考虑下使用激活函数的意义，如果不使用激活函数，对神经网络会
有什么影响

神经元结构
下面是一个常见的神经元结构：

1. 输入： 神经元接收来自其他神经元的输入信号。每个输入都有一个相关的权重，表
示其在计算中的重要性。

2. 权重： 每个输入都与一个权重相关联。权重决定了输入信号对神经元输出的影响
程度。权重可以看作是连接的强度或重要性，可以通过训练过程进行调整。

3. 偏置： 有些神经元还可能有一个偏置常数，与神经元的输入相加后，用于调整激活函数的输入
值。

4. 加权和： 神经元将每个输入与对应的权重相乘，然后将所有加权的输入求
和，得到一个加权和。这个加权和将作为激活函数的输入。

5. 激活函数： 神经元使用激活函数对加权和的结果进行非线性转换。激活函数引入了非线
性特性，使神经网络能够学习和表示更复杂的函数关系（否则再多神经单元构成的网络都只是输入
的线性组合）。常见的激活函数包括：

1. Sigmoid ，常用在输出层。将输入挤压进0到1区间，和概率的取值范围一致，
因此在分类任务中很受欢迎。

2. Tanh ​常用在隐藏层。和sigmoid类似，只不过tanh将输入加压到区间(-1,
1)，中心为零。某种程度上，激活值是下一层的正态分布的输入。其梯度峰值相较于sigmoid
更大，但梯度下降得更快，可能出现梯度消失的问题。

3.
 4. ReLU 常用在隐藏层。x>0时不会出现梯度消失，网络能更快收敛。

5. Leak ReLU：相较于ReLU，x<0时斜率不会为0而是缓慢下降，但这也导致了z接近0时斜率小
于1，学习速率降低。

6. 输出： 激活函数处理加权和后产生一个输出值。输出可以传递给其他神经元作为它们
的输入，或者作为整个神经网络的最终输出。

总的来说，神经元节点先计算线性函数 ，再计算激活。神经元的输出是

全连接神经网络
全连接层结构
输入向量的每个输入都会影响输出向量的每个输出。但是，并非所有权重都会影响所有输出。如下图，
是激活函数，包装了 的输入向量与 的权重矩阵的点积，得到输出向量
前向传播
将输入信号传递给全连接层；对每个输入和对应的权重进行乘法操作，并将它们相加，得到加权和；将
加权和传递给激活函数，对其进行非线性转换；将激活函数的输出作为全连接层的输出，并将其传递给
下一层或作为网络的最终输出。

反向传播
对多层人工神经网络进行梯度下降的算法，也就是用链式法则以网络每层的权重为变量计算损失函数的
梯度，以更新权重来最小化损失函数。可以把神经网络的学习理解成一个优化问题，目标是将成本函数
优化到最小。
每次迭代中的传播环节包含两步：

1. （前向传播阶段）将训练输入送入网络以获得预测结果；
2. （反向传播阶段）对预测结果同训练目标求差，即计算损失函数

更新权重的步骤：

1. 将输入激励和响应误差相乘，从而获得权重的梯度；
2. 将这个梯度乘上一个比例（ 训练因子，影响训练过程的速度和效果）并取反后加到权重上（梯度
的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误
差）。

损失函数：对单个训练样本的衡量指标，用于度量模型在单个样本上的预测输出与真实标签之间的差
异。它通常是一个标量值，表示预测结果与实际标签之间的误差。常见的损失函数包括均方误差
（Mean Squared Error，MSE）、交叉熵损失（Cross-Entropy Loss）等。

成本函数：针对整个训练集的损失函数的平均值或总和。它是衡量模型在整个训练集上的性能和误差的
指标。成本函数通常是在损失函数的基础上加上正则化项（如L1或L2正则化）以防止过拟合。成本函数
是用于优化算法中的目标函数，通过最小化成本函数来调整网络的参数，使其能够更好地拟合训练数
据。

例子：单个样本的逻辑回归梯度下降

损失函数：

激活函数：

迭代

迭代

激活函数的意义
加入激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。

如果没有激活函数，神经网络的权重、偏置全是线性的放射变换，无法处理非线性的分类问题，如：
神经网络的表达能力将非常受限制，难以学习复杂的数据分布和任务。引入激活函数，扩展到多个神经
元组合的情况时，神经网络的表达能力就会更强。

同时激活函数可以限制输出值的范围。例如，Sigmoid函数可以将输出限制在0到1之间，适用于分类问
题的概率表示。Tanh函数可以将输出限制在-1到1之间，适用于中心对称数据的表示。这有助于对输出
进行合理的缩放和解释。