主页

索引

模块索引

搜索页面

激活函数-Tanh

• 双曲正切函数

• 特点：将输入的实数映射到 (-1, 1) 范围内，可以提供比 Sigmoid 更强的非线性性质，常用于隐藏层。

• 公式：

$$\begin{array}{r}\text{tanh}(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}\\ =>\\ \text{tanh}(x)=\frac{1-exp(-2x)}{1+exp(-2x)}\end{array}$$

tanh 函数的导数为：

$$\frac{d}{dx}tanh(x)=1-tan{h}^2(x)$$

当输入接近 0 时，tanh 函数的导数接近最大值 1。同 sigmoid 函数一样，当输入在任一方向上远离 0 时，tanh 函数的导数接近 0。

主页

索引

模块索引

搜索页面