一种近似求解超定系统的标准方法是寻找模型参数,使观测值与预测值之间平方差之和最小化。该和称为残差平方和 (SSR)。目标是找到使函数 [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex] 最小化的参数 [latex]hat{beta}[/latex]。

(图片仅供参考)
一种近似求解超定系统的标准方法是寻找模型参数,使观测值与预测值之间平方差之和最小化。该和称为残差平方和 (SSR)。目标是找到使函数 [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex] 最小化的参数 [latex]hat{beta}[/latex]。
普通最小二乘法是回归分析的基石。它提供了一种直接估计线性模型中未知参数的方法。其原理是找到一条直线(或在多元回归中找到超平面),这条直线同时最接近所有数据点。“最接近”的定义是最小化每个点到这条直线的垂直距离,具体来说,就是最小化这些距离的平方和(残差)。
这个最小化问题可以用微积分求解。通过对残差平方和函数 S(β) 关于参数向量 β 求导并令其为零,我们可以得到一组方程,称为“正规方程”。这些方程以矩阵形式表示为 X^TX β̂ = X^T y,其中 X 是自变量矩阵,y 是因变量向量。
估计系数向量的解由 [latex]hat{beta} = (X^TX)^{-1} X^T y[/latex] 给出。该闭式解计算效率高,且在矩阵 [latex]X^TX[/latex] 可逆(即自变量之间不存在完全多重共线性)的前提下,能够提供唯一的估计值。从几何角度来看,OLS 解对应于结果向量 [latex]y[/latex] 在由预测矩阵 [latex]X[/latex] 的列向量张成的向量子空间上的正交投影。虽然 OLS 功能强大,但它对异常值非常敏感,因为残差平方会导致较大的误差对最终拟合结果产生不成比例的巨大影响。
普通最小二乘法(OLS)
(如果日期未知或不相关,例如“流体力学”,则提供其显著出现的近似估计)
只有注册会员才能免费获得 100% 的全尺寸图片和下载。.
> 登录 <