主页

索引

模块索引

搜索页面

8.4. Leaky ReLU

• 特点：与 ReLU 类似，但在负数部分引入了一个小的斜率（通常为 0.01），有助于解决 ReLU 的神经元死亡问题。

• 公式：

\[\begin{split}\text{LeakyReLU}(x) = \begin{cases} x, & \text{if } x > 0 \\ \alpha x, & \text{otherwise} \end{cases}\end{split}\]

主页

索引

模块索引

搜索页面