Product Design, Manufacturing & Innovation Resources
» 普通最小二乘法(OLS)

普通最小二乘法(OLS)

1805
  • Adrien-Marie Legendre
  • Carl Friedrich Gauss
描绘数学统计中普通最小二乘法的办公室历史场景。.

(图片仅供参考)

一种近似求解超定系统的标准方法是寻找模型参数,使观测值与预测值之间平方差之和最小化。该和称为残差平方和 (SSR)。目标是找到使函数 [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex] 最小化的参数 [latex]hat{beta}[/latex]。

普通最小二乘法是回归分析的基石。它提供了一种直接估计线性模型中未知参数的方法。其原理是找到一条直线(或在多元回归中找到超平面),这条直线同时最接近所有数据点。“最接近”的定义是最小化每个点到这条直线的垂直距离,具体来说,就是最小化这些距离的平方和(残差)。

这个最小化问题可以用微积分求解。通过对残差平方和函数 S(β) 关于参数向量 β 求导并令其为零,我们可以得到一组方程,称为“正规方程”。这些方程以矩阵形式表示为 X^TX β̂ = X^T y,其中 X 是自变量矩阵,y 是因变量向量。

估计系数向量的解由 [latex]hat{beta} = (X^TX)^{-1} X^T y[/latex] 给出。该闭式解计算效率高,且在矩阵 [latex]X^TX[/latex] 可逆(即自变量之间不存在完全多重共线性)的前提下,能够提供唯一的估计值。从几何角度来看,OLS 解对应于结果向量 [latex]y[/latex] 在由预测矩阵 [latex]X[/latex] 的列向量张成的向量子空间上的正交投影。虽然 OLS 功能强大,但它对异常值非常敏感,因为残差平方会导致较大的误差对最终拟合结果产生不成比例的巨大影响。

UNESCO Nomenclature: 1209
- 统计资料

类型

软件/算法

中断

重大的

用法

广泛使用

前体

  • 线性代数(矩阵运算)
  • 微积分(用于寻找最小值)
  • 观测误差理论(由天文学家提出)
  • 解析几何(笛卡尔)

应用程序

  • 线性回归模型中的参数估计
  • 信号处理和数字滤波
  • 系统识别的控制理论
  • 用于建模经济关系的计量经济学
  • 天文轨道计算

专利:

NA

潜在创新理念

由于机器人流量被拦截(目前每天超过 4 万),此内容仅限社区成员查看。
> 登录 > 或者 > 注册 < (100% 免费)即可访问此内容,以及所有其他受限内容和工具。

相关内容:最小二乘法、OLS、参数估计、残差平方和、优化、正规方程、线性代数、回归分析、曲线拟合、数据拟合。

历史背景

普通最小二乘法(OLS)

1750
1763-12-23
1780
1805
1822
1822
1828
1747
1758
1777
1799
1812
1822
1827
1829

(如果日期未知或不相关,例如“流体力学”,则提供其显著出现的近似估计)

相关发明、创新和技术原理

只有注册会员才能免费获得 100% 的全尺寸图片和下载。.

> 登录 <