Heim » Method of Ordinary Least Squares (OLS)

Method of Ordinary Least Squares (OLS)

1805
  • Adrien-Marie Legendre
  • Carl Friedrich Gauss
Historical office scene depicting the Method of Ordinary Least Squares in mathematical statistics.

A standard approach for approximating solutions to overdetermined systems by finding model parameters that minimize the sum of the squared differences between observed and predicted values. This sum is known as the sum of squared residuals (SSR). The goal is to find the parameters [latex]\hat{\beta}[/latex] that minimize the function [latex]S(\beta) = \sum_{i=1}^{n} (y_i – x_i^T \beta)^2[/latex].

Der Verfahren of ordinary least squares is a cornerstone of regression analysis. It provides a direct way to estimate the unknown parameters in a linear model. The principle is to find the line (or hyperplane in multiple regression) that is closest to all the data points simultaneously. ‘Closest’ is defined in terms of minimizing the vertical distances from each point to the line, specifically, the sum of the squares of these distances (residuals).

This minimization problem can be solved using calculus. By taking the derivative of the sum of squared residuals function [latex]S(\beta)[/latex] with respect to the parameter vector [latex]\beta[/latex] and setting it to zero, we derive a set of equations known as the ‘normal equations’. In matrix form, these are expressed as [latex]X^T X \hat{\beta} = X^T y[/latex], where [latex]X[/latex] is the matrix of independent variables and [latex]y[/latex] is the vector of the dependent variable.

The solution for the estimated coefficient vector is then given by [latex]\hat{\beta} = (X^T X)^{-1} X^T y[/latex]. This closed-form solution is computationally efficient and provides a unique estimate, provided that the matrix [latex]X^T X[/latex] is invertible (i.e., there is no perfect multicollinearity among the independent variables). Geometrically, the OLS solution corresponds to an orthogonal projection of the outcome vector [latex]y[/latex] onto the vector subspace spanned by the columns of the predictor matrix [latex]X[/latex]. While powerful, OLS is sensitive to outliers, as squaring the residuals gives large errors a disproportionately large influence on the final fit.

UNESCO Nomenclature: 1209
– Statistics

Typ

Software/Algorithmus

Unterbrechung

Wesentlich

Verwendung

Weit verbreitete Verwendung

Vorläufersubstanzen

  • Linear algebra (matrix operations)
  • Differential calculus (for finding minima)
  • Theory of errors in observation (developed by astronomers)
  • Analytic geometry (Descartes)

Anwendungen

  • parameter estimation in linear regression models
  • Signalverarbeitung and digital filtering
  • control theory for system identification
  • econometrics for modeling economic relationships
  • astronomical calculations of orbits

Patente:

NA

Mögliche Innovationsideen

!Professionals (100% free) Mitgliedschaft erforderlich

Sie müssen ein Professionals (100% free) Mitglied sein, um auf diesen Inhalt zugreifen zu können.

Jetzt teilnehmen

Sie sind bereits Mitglied? Hier einloggen
Related to: least squares, OLS, parameter estimation, sum of squared residuals, optimization, normal equations, linear algebra, regression analysis, curve fitting, data fitting.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

VERFÜGBAR FÜR NEUE HERAUSFORDERUNGEN
Maschinenbauingenieur, Projekt-, Verfahrenstechnik- oder F&E-Manager
Effektive Produktentwicklung

Kurzfristig für eine neue Herausforderung verfügbar.
Kontaktieren Sie mich auf LinkedIn
Integration von Kunststoff-Metall-Elektronik, Design-to-Cost, GMP, Ergonomie, Geräte und Verbrauchsmaterialien in mittleren bis hohen Stückzahlen, Lean Manufacturing, regulierte Branchen, CE und FDA, CAD, Solidworks, Lean Sigma Black Belt, medizinische ISO 13485

Wir suchen einen neuen Sponsor

 

Ihr Unternehmen oder Ihre Institution beschäftigt sich mit Technik, Wissenschaft oder Forschung?
> Senden Sie uns eine Nachricht <

Erhalten Sie alle neuen Artikel
Kostenlos, kein Spam, E-Mail wird nicht verteilt oder weiterverkauft

oder Sie können eine kostenlose Vollmitgliedschaft erwerben, um auf alle eingeschränkten Inhalte zuzugreifen >Hier<

Historischer Kontext

(wenn das Datum nicht bekannt oder nicht relevant ist, z. B. "Strömungsmechanik", wird eine gerundete Schätzung des bemerkenswerten Erscheinens angegeben)

Verwandte Erfindungen, Innovationen und technische Prinzipien

Nach oben scrollen

Das gefällt dir vielleicht auch