激活函数

激活函数加在神经网络每一层输出之后，作用于输出数据，将输出数据映射到非线性激活区。

激活函数的意义在于，在神经网络中加入非线性因素，突破线性函数表达能力的局限

常见激活函数

STAIR

stair激活函数计算如下：

梯度计算：

HARDTAN

hardtan激活函数计算如下：

梯度计算：

LINEAR

linear激活函数计算如下：

$$ linear(x)=x $$

梯度计算：

$$ linear_{g}(x)=1 $$

LOGISTIC

logistic激活函数计算如下：

$$ logistic(x)=\frac{1}{1+e^{-x}} $$

梯度计算：

$$ logistic_{g}(x)=(1-x)*x $$

LOGGY

loggy激活函数计算如下：

$$ loggy(x)=\frac{2}{1+e^{-x}}-1 $$

梯度计算：

$$ y = \frac{x+1}{2} $$

$$ loggy_{g}(x) = (1-y) * y * 2 $$

RELU

relu激活函数计算如下：

梯度计算：

ELU

elu激活函数计算如下：

梯度计算：

SELU

selu激活函数计算如下：

梯度计算：

RELIE

relie激活函数计算如下：

梯度计算：

RAMP

ramp激活函数计算如下：

梯度计算：

LEAKY RELU

leaky relu激活函数计算如下：

梯度计算：

TANH

tanh激活函数计算如下：

$$ tanh(x)=\frac{e^{2x}-1}{e^{2x}+1} $$

梯度计算：

$$ tanh_{g}(x)=1-x*x $$

PLSE

plse激活函数计算如下：

梯度计算：

LHTAN

lhtan激活函数计算如下：

梯度计算：