主页

索引

模块索引

搜索页面

8.6. GELU

• GELU (Gaussian Error Linear Unit)

• 近似于 ReLU，在神经网络中表现良好，但具有更加平滑的导数，在某些情况下能够提供更好的性能。

• 公式：

$$\begin{array}{r}\text{GELU}(x)=x\cdot \mathrm{\Phi }(x)\\ \mathrm{\Phi }(x)\mathrm{是}\mathrm{标}\mathrm{准}\mathrm{正}\mathrm{态}\mathrm{分}\mathrm{布}\mathrm{的}\mathrm{累}\mathrm{积}\mathrm{分}\mathrm{布}\mathrm{函}\mathrm{数}\end{array}$$

主页

索引

模块索引

搜索页面