過剰決定システムの解を近似するための標準的なアプローチは、観測値と予測値の二乗差の合計を最小化するモデルパラメータを見つけることです。この合計は二乗残差の合計 (SSR) として知られています。目標は、関数 [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex] を最小化するパラメータ [latex]hat{beta}[/latex] を見つけることです。

(画像はイメージです)
過剰決定システムの解を近似するための標準的なアプローチは、観測値と予測値の二乗差の合計を最小化するモデルパラメータを見つけることです。この合計は二乗残差の合計 (SSR) として知られています。目標は、関数 [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex] を最小化するパラメータ [latex]hat{beta}[/latex] を見つけることです。
最小二乗法は回帰分析の基礎となる手法です。線形モデルにおける未知のパラメータを直接推定する方法を提供します。その原理は、すべてのデータ点に同時に最も近い直線(重回帰分析では超平面)を見つけることです。「最も近い」とは、各点から直線までの垂直距離、具体的にはこれらの距離の二乗和(残差)を最小化することによって定義されます。
この最小化問題は微積分を用いて解くことができます。二乗残差和関数[latex]S(beta)[/latex]をパラメータベクトル[latex]beta[/latex]で微分し、それをゼロに設定することで、「正規方程式」と呼ばれる一連の方程式が得られます。行列形式では、これらは[latex]X^TX hat{beta} = X^T y[/latex]と表され、[latex]X[/latex]は独立変数の行列、[latex]y[/latex]は従属変数のベクトルです。
推定係数ベクトルの解は、[latex]hat{beta} = (X^TX)^{-1} X^T y[/latex] で与えられます。この閉形式の解は計算効率が良く、行列 [latex]X^TX[/latex] が可逆である場合 (つまり、独立変数間に完全な多重共線性がない場合) には一意の推定値が得られます。幾何学的には、OLS 解は、結果ベクトル [latex]y[/latex] を予測行列 [latex]X[/latex] の列によって張られるベクトル部分空間に直交射影したものに対応します。OLS は強力ですが、外れ値に敏感です。残差を二乗すると、大きな誤差が最終的な適合に不釣り合いに大きな影響を及ぼします。
ボットによるトラフィック(現在1日あたり4万件以上)を排除するため、このコンテンツはコミュニティメンバー限定となっています。
> ログイン < または > 登録 < (100%無料)でこれにアクセスできます。他のすべての制限付きコンテンツとツールも同様です。
最小二乗法(OLS)
(日付が不明または関連性がない場合、例えば「流体力学」などでは、その注目すべき出現時期の概算値が提示されます。)
フルサイズの画像とダウンロードは、登録会員のみが100%無料で利用できます。
> ログイン <