激活函数

last modify

基础知识

激活函数的基本性质

• 非线性

• 单调

• 连续

  并不一定要求可导，比如 ReLU 就是连续但不可导，在不可导的点取左导数或右导数即可；

sigmoid

$$\begin{aligned} f(x) & = \frac{1}{1- e^{-x}} \\ f'(x) & = f(x)(1-f(x)) \end{aligned}$$

sigmoid 存在的问题

• 梯度消失问题；

• 求导计算量大（计算 $e^{-x}$）；

• 非对称；