Product Design, Manufacturing & Innovation Resources
家 » 普通最小二乘法(OLS)

普通最小二乘法(OLS)

1805
  • Adrien-Marie Legendre
  • Carl Friedrich Gauss
Historical office scene depicting the Method of Ordinary Least Squares in mathematical statistics.

(图片仅供参考)

一种近似求解超定系统的标准方法是寻找模型参数,使观测值与预测值之间平方差之和最小化。该和称为残差平方和 (SSR)。目标是找到使函数 [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex] 最小化的参数 [latex]hat{beta}[/latex]。

普通最小二乘法是回归分析的基石。它提供了一种直接估计线性模型中未知参数的方法。其原理是找到一条直线(或在多元回归中找到超平面),这条直线同时最接近所有数据点。“最接近”的定义是最小化每个点到这条直线的垂直距离,具体来说,就是最小化这些距离的平方和(残差)。

这个最小化问题可以用微积分求解。通过对残差平方和函数 S(β) 关于参数向量 β 求导并令其为零,我们可以得到一组方程,称为“正规方程”。这些方程以矩阵形式表示为 X^TX β̂ = X^T y,其中 X 是自变量矩阵,y 是因变量向量。

估计系数向量的解由 [latex]hat{beta} = (X^TX)^{-1} X^T y[/latex] 给出。该闭式解计算效率高,且在矩阵 [latex]X^TX[/latex] 可逆(即自变量之间不存在完全多重共线性)的前提下,能够提供唯一的估计值。从几何角度来看,OLS 解对应于结果向量 [latex]y[/latex] 在由预测矩阵 [latex]X[/latex] 的列向量张成的向量子空间上的正交投影。虽然 OLS 功能强大,但它对异常值非常敏感,因为残差平方会导致较大的误差对最终拟合结果产生不成比例的巨大影响。

UNESCO Nomenclature: 1209
– Statistics

类型

Software/Algorithm

中断

重大的

用法

广泛使用

前体

  • 线性代数(矩阵运算)
  • 微积分(用于寻找最小值)
  • 观测误差理论(由天文学家提出)
  • 解析几何(笛卡尔)

应用程序

  • 线性回归模型中的参数估计
  • 信号处理 以及数字滤波
  • 系统识别的控制理论
  • 用于建模经济关系的计量经济学
  • 天文轨道计算

专利:

NA

潜在创新理念

  • 通过将传感器数据拟合到物理模型来实时监测桥梁结构健康
  • 个性化广告的自适应算法,可最大程度地减少预测误差
  • 基于最小化基准跟踪误差的自动化高频交易策略
  • 根据实时需求弹性调整价格的电子商务动态定价模型
  • AI-powered 医学成像 analysis to fit models of tumor growth to scan data
  • 通过模拟作物生长对肥料和天气投入的影响来优化农业产量
  • 通过最大限度地减少多颗卫星信号的误差来提高 GPS 定位精度
  • 电动汽车电池退化的预测模型
  • 基于动作捕捉数据的逼真 CGI 角色动作算法生成
  • 供应链物流优化,以尽量减少预测需求与实际需求之间的差异
相关内容:最小二乘法、OLS、参数估计、残差平方和、优化、正规方程、线性代数、回归分析、曲线拟合、数据拟合。

历史背景

普通最小二乘法(OLS)

1750
1763-12-23
1780
1805
1822
1822
1828
1747
1758
1777
1799
1812
1822
1827
1829

(如果日期未知或不相关,例如“流体力学”,则提供其显著出现的近似估计)

第十年 周年纪念日

只有注册会员才能免费获取完整尺寸的图片和下载内容。

> 登录 <