范数-Frobenius范数¶
Frobenius 范数 是矩阵范数的一种，表示矩阵中所有元素的平方和的平方根。它衡量矩阵整体的大小，类似于向量的欧几里得范数。
Frobenius 范数定义¶
对于矩阵 \((\mathbf{X} \in \mathbb{R}^{m \times n})\) ，其 Frobenius 范数定义为：
\[|\mathbf{X}\|_F = \sqrt{\sum_{i=1}^m \sum_{j=1}^n x_{ij}^2}\]
或简写为：
\[|\mathbf{X}\|_F = \sqrt{\text{tr}(\mathbf{X}^\top \mathbf{X})}\]
其中， \((\text{tr}(\cdot))\) 表示矩阵的迹运算。
Frobenius 范数的平方¶
\[|\mathbf{X}\|_F^2 = \sum_{i=1}^m \sum_{j=1}^n x_{ij}^2\]
它是 Frobenius 范数的平方值，也可以表示为：
\[|\mathbf{X}\|_F^2 = \text{tr}(\mathbf{X}^\top \mathbf{X})\]
梯度公式¶
对于矩阵 \(\mathbf{X}\)
\[\nabla_{\mathbf{X}} \|\mathbf{X}\|_F^2 = 2 \mathbf{X}\]
逐元素分析：
Frobenius 范数平方的表达式中每一项是 \(x_{ij}^2\) 。对 \(x_{ij}\) 求导时，梯度为 \(2x_{ij}\)
整体矩阵形式：
逐元素求导的结果可以直接写为矩阵形式，梯度为 \(2 \mathbf{X}\)
推导：
使用迹的性质：
\[|\mathbf{X}\|_F^2 = \text{tr}(\mathbf{X}^\top \mathbf{X})\]
对于迹函数的导数规则：
\[\nabla_{\mathbf{X}} \text{tr}(\mathbf{X}^\top \mathbf{X}) = 2 \mathbf{X}\]
因此：
\[\nabla_{\mathbf{X}} \|\mathbf{X}\|_F^2 = 2 \mathbf{X}\]
物理意义¶
Frobenius 范数可以看作是矩阵的“长度”或能量的量度，表示矩阵中所有元素平方和的平方根。
它的平方值 \(\|\mathbf{X}\|_F^2\) 是矩阵所有元素平方的总和。