RMSprop¶

RMSProp（Root Mean Square Propagation）
RMSProp 是一种自适应学习率优化算法，用于解决标准梯度下降在处理非平稳目标函数（如深度学习任务）时的困难问题。它通过对梯度平方的指数加权平均动态调整学习率，特别适用于稀疏数据和非平稳损失函数。

核心思想¶

RMSProp 的核心思想是对每个参数的梯度平方进行移动平均，进而调整学习率。

它的主要目标是:

避免学习率因为梯度幅度过大而爆炸。
解决梯度较小参数更新缓慢的问题。

通过动态调整学习率，RMSProp 平衡了收敛速度和稳定性。

公式¶

\begin{array}{r} \begin{array}{l} 1. 梯 度 平 方 的 移 动 平 均 ： \\ E {[g^{2}]}_{t} = β E {[g^{2}]}_{t - 1} + (1 - β) g_{t}^{2} \\ 2. 参 数 更 新 \\ θ_{t + 1} = θ_{t} - \frac{η}{\sqrt{E {[g^{2}]}_{t}} + ϵ} g_{t} \end{array} \end{array}

β 是衰减率（通常取 0.9）。
η：学习率。
$g_{t}$ ：当前梯度。
$E [g^{2}]_{t}$ ：梯度平方的移动平均值。
ϵ：一个小常数（通常是 10^−8 ），防止除零。

备注

与标准 SGD 相比，RMSProp 为每个参数动态调整学习率，使得梯度较大的参数学习率更小，梯度较小的参数学习率更大。

优缺点¶

优点:

自适应学习率：
    根据梯度平方的移动平均值动态调整学习率，无需手动调节。

收敛更快：
    在非平稳目标函数（如深度学习任务）中表现稳定，并能快速收敛。

适用于稀疏数据：
    RMSProp 在梯度稀疏的场景中表现良好，如 NLP 和推荐系统。

易于实现：
    简单的公式和易调参数使其成为深度学习中的常用优化器。

局限性:

依赖超参数：
    尽管 𝛽 和 𝜂 的默认值（如 0.9 和 0.001）适用大多数任务，但特定任务可能需要手动调整。

泛化能力较弱：
    RMSProp 的正则化效果不如 SGD，可能导致泛化能力不足。