AI数学基础4-Sigmoid函数

《AI数学基础3-直觉化理解计算图》

在使用神经网络进行分类的时候，得到的结果是某一个类型的概率。一般来说，概率的取值范围是（0,1），换句话说，一个负数概率或者一个大于1的概率，是没有实际意义的。

这样，我们需要找到一个函数，能够把输入（−∞ , +∞）映射到（0,1）空间中去。

Sigmoid，必应词典解释如下：

Sigmoid函数是一个S型曲线。 由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。

Sigmoid函数定义如下：

其函数曲线如下：

Sigmoid函数跟逻辑函数参数（Logistic function）的参数：k = 1, x0 = 0, L = 1时一样，又称标准逻辑函数（standard logistic function） 

逻辑函数原型如下：

Sigmoid函数的导数，计算如下：

Sigmoid函数的导数是一个偶函数（Even funciton），所以：

由于Sigmoid函数存在梯度消失（Gradient Vanishing）和不以0对称的问题，所以基本很少用了。替代者是Tanh 和 Relu，以Relu最常用

《AI数学基础5-生物学神经网络，人工神经网络，逻辑回归求导计算图》