解析解(Analytic Solution)¶

特点¶

解析解广泛应用于各种科学和工程领域，特别是在那些能够用数学模型准确描述的问题中。例如：

优势:

提供了对问题的深刻理解，因为解决方案以清晰的数学形式呈现。
可以快速计算出结果，尤其是在计算机辅助下。
有助于验证数值方法的正确性和准确性。

局限:

并不是所有问题都能找到解析解；对于复杂的非线性系统或者高维问题，解析解可能不存在或难以获得。
即使存在解析解，有时表达式也可能非常复杂，难以处理或解释。

在训练线性回归模型时，目标是找到一组参数 $w$ 使得预测值 $X w$ 和真实值 $y$ 之间的误差（通常用平方损失衡量）最小化：

‖ y - X w ‖^{2}

\begin{array}{r} \begin{array}{lll} \partial_{w} ‖ y - X w ‖^{2} = 0 \\ 计 算 过 程 ： \\ ‖ y - X w ‖^{2} \\ 展 开 为 : \\ ‖ y - X w ‖^{2} = (y - X w)^{⊤} (y - X w) \\ 对 参 数 w 求 导 ： \\ \frac{\partial}{\partial w} ‖ y - X w ‖^{2} \\ 为 了 简 化 推 导, 首 先 将 损 失 函 数 写 成 矩 阵 形 式 : \\ L (w) = ‖ y - X w ‖^{2} = (y - X w)^{⊤} (y - X w) \\ 使 用 导 数 规 则 : \\ \frac{\partial}{\partial w} L (w) = \frac{\partial}{\partial w} (y^{⊤} y - 2 y^{⊤} X w + w^{⊤} X^{⊤} X w) \\ 对 每 一 项 分 别 求 导 ： \\ 1. \frac{\partial}{\partial w} (y^{⊤} y) = 0, 因 为 这 项 不 依 赖 于 w \\ 2. \frac{\partial}{\partial w} (- 2 y^{⊤} X w) = - 2 X^{⊤} y \\ 3. \frac{\partial}{\partial w} (w^{⊤} X^{⊤} X w) = 2 X^{⊤} X w \\ 将 这 些 合 并 后 得 到 ： \\ \frac{\partial}{\partial w} L (w) = 2 X^{⊤} X w - 2 X^{⊤} y \\ 设 置 梯 度 为 零 ： \\ 2 X^{⊤} X w - 2 X^{⊤} y = 0 \end{array} \end{array}

w^{*} = {(X^{⊤} X)}^{- 1} X^{⊤} y