反向传播神经网络中的非线性激活函数

1. 引言

在本教程中，我们将研究在反向传播（Backpropagation）算法及其他学习过程中最常用的非线性激活函数。

为什么使用非线性函数，这背后的原因我们已经在之前的文章中做过分析。

反向传播算法主要应用于全连接的前馈神经网络（Feed-Forward Neural Network, FFNN）中：

每个神经元单元的结构如下：

Artificial neuron 1

其中的激活函数 $\phi$ 会对输入的加权和进行变换：

$[\Sigma=w_{0}+\sum_{i=1}^{N}w_{i}x_{i}]$

关于 FFNN 的更多细节，可以参考我们的线性模型文章。