激活函数-Sigmoid¶
特点：将输入的实数映射到 (0, 1) 范围内，主要用于二分类问题中的输出层，也可用于隐藏层。
公式：
\[\sigma(x) = \frac{1}{1 + e^{-x}}\]
sigmoid 函数的导数由以下等式给出：
\[\begin{split}\frac{d}{dx} \operatorname{sigmoid}(x) = \frac{\exp(-x)}{(1 + \exp(-x))^2} \\
= \operatorname{sigmoid}(x)\left(1-\operatorname{sigmoid}(x)\right)\end{split}\]
sigmoid 函数的导数：当输入为 0 时，sigmoid 函数的导数达到最大值 0.25。当输入在任一方向上偏离 0 时，导数接近 0。¶