python实现BP

发表于 |
字数统计: 166 | 阅读时长 ≈ 1

单个神经元的组成

如上图所示为一个典型的神经元结构，输入端为n个输入Xn，对应n个权重Wn,以及一个阈值b，将这些值进行线性组合WX+b就可以得到神经元的输入值，我们姑且称作α，然后再将这个输入值α传入神经元后半部分进行非线性处理（激活处理），神经网络之所以可以非线性的拟合原因就在其每个神经元都会经过一个非线性的步骤，这里使用的激活函数有很多种

Sigmoid函数

ReLU函数

Softmax函数

Sigmoid函数