Product Design, Manufacturing & Innovation Resources
» 最小二乗法(OLS)

最小二乗法(OLS)

1805
  • Adrien-Marie Legendre
  • Carl Friedrich Gauss
数理統計学における最小二乗法を描いた歴史的なオフィス風景。.

(画像はイメージです)

過剰決定システムの解を近似するための標準的なアプローチは、観測値と予測値の二乗差の合計を最小化するモデルパラメータを見つけることです。この合計は二乗残差の合計 (SSR) として知られています。目標は、関数 [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex] を最小化するパラメータ [latex]hat{beta}[/latex] を見つけることです。

最小二乗法は回帰分析の基礎となる手法です。線形モデルにおける未知のパラメータを直接推定する方法を提供します。その原理は、すべてのデータ点に同時に最も近い直線(重回帰分析では超平面)を見つけることです。「最も近い」とは、各点から直線までの垂直距離、具体的にはこれらの距離の二乗和(残差)を最小化することによって定義されます。

この最小化問題は微積分を用いて解くことができます。二乗残差和関数[latex]S(beta)[/latex]をパラメータベクトル[latex]beta[/latex]で微分し、それをゼロに設定することで、「正規方程式」と呼ばれる一連の方程式が得られます。行列形式では、これらは[latex]X^TX hat{beta} = X^T y[/latex]と表され、[latex]X[/latex]は独立変数の行列、[latex]y[/latex]は従属変数のベクトルです。

推定係数ベクトルの解は、[latex]hat{beta} = (X^TX)^{-1} X^T y[/latex] で与えられます。この閉形式の解は計算効率が良く、行列 [latex]X^TX[/latex] が可逆である場合 (つまり、独立変数間に完全な多重共線性がない場合) には一意の推定値が得られます。幾何学的には、OLS 解は、結果ベクトル [latex]y[/latex] を予測行列 [latex]X[/latex] の列によって張られるベクトル部分空間に直交射影したものに対応します。OLS は強力ですが、外れ値に敏感です。残差を二乗すると、大きな誤差が最終的な適合に不釣り合いに大きな影響を及ぼします。

UNESCO Nomenclature: 1209
統計

タイプ

ソフトウェア/アルゴリズム

混乱

実質的な

使用法

広く普及している

前駆物質

  • 線形代数(行列演算)
  • 微分積分(最小値を求めるため)
  • 観測誤差の理論(天文学者によって開発された)
  • 解析幾何学(デカルト)

アプリケーション

  • 線形回帰モデルにおけるパラメータ推定
  • signal processing and digital filtering
  • システム同定のための制御理論
  • 経済関係をモデル化するための計量経済学
  • 軌道の天文学的計算

特許:

NA

潜在的なイノベーションのアイデア

ボットによるトラフィック(現在1日あたり4万件以上)を排除するため、このコンテンツはコミュニティメンバー限定となっています。
> ログイン < または > 登録 < (100%無料)でこれにアクセスできます。他のすべての制限付きコンテンツとツールも同様です。

関連キーワード:最小二乗法、OLS、パラメータ推定、残差平方和、最適化、正規方程式、線形代数、回帰分析、曲線フィッティング、データフィッティング。

歴史的背景

最小二乗法(OLS)

1750
1763-12-23
1780
1805
1822
1822
1828
1747
1758
1777
1799
1812
1822
1827
1829

(日付が不明または関連性がない場合、例えば「流体力学」などでは、その注目すべき出現時期の概算値が提示されます。)

関連する発明、革新、および技術原理

フルサイズの画像とダウンロードは、登録会員のみが100%無料で利用できます。