Product Design, Manufacturing & Innovation Resources
Heim » Methode der kleinsten Quadrate (OLS)

Methode der kleinsten Quadrate (OLS)

1805
  • Adrien-Marie Legendre
  • Carl Friedrich Gauss
Historische Büroszene, die die Methode der gewöhnlichen kleinsten Quadrate in der mathematischen Statistik darstellt.

(Abbildung dient nur zur Veranschaulichung)

Ein Standardverfahren zur Approximation von Lösungen überbestimmter Systeme besteht darin, Modellparameter zu finden, die die Summe der quadrierten Differenzen zwischen beobachteten und vorhergesagten Werten minimieren. Diese Summe wird als Summe der quadrierten Residuen (SSR) bezeichnet. Ziel ist es, die Parameter β̂ zu finden, die die Funktion S(β) = ∑_{i=1}^{n} (y_i x_i^T β)^2 minimieren.

Die Methode der kleinsten Quadrate ist ein Eckpfeiler der Regressionsanalyse. Sie ermöglicht die direkte Schätzung der unbekannten Parameter in einem linearen Modell. Das Prinzip besteht darin, die Gerade (bzw. Hyperebene bei multipler Regression) zu finden, die allen Datenpunkten gleichzeitig am nächsten liegt. „Am nächsten“ bedeutet, die vertikalen Abstände jedes Punktes zur Geraden zu minimieren, genauer gesagt die Summe der Quadrate dieser Abstände (Residuen).

Dieses Minimierungsproblem lässt sich mithilfe der Differentialrechnung lösen. Indem man die Ableitung der Summe der quadrierten Residuenfunktion S(β) nach dem Parametervektor β bildet und diese gleich null setzt, erhält man ein Gleichungssystem, die sogenannten Normalgleichungen. In Matrixform lauten diese Xᵀβ̂ = Xᵀy, wobei X die Matrix der unabhängigen Variablen und y der Vektor der abhängigen Variablen ist.

Die Lösung für den geschätzten Koeffizientenvektor ist gegeben durch [latex]hat{beta} = (X^TX)^{-1} X^T y[/latex]. Diese geschlossene Lösung ist recheneffizient und liefert eine eindeutige Schätzung, vorausgesetzt, die Matrix [latex]X^TX[/latex] ist invertierbar (d. h., es besteht keine perfekte Multikollinearität zwischen den unabhängigen Variablen). Geometrisch entspricht die OLS-Lösung einer orthogonalen Projektion des Ergebnisvektors [latex]y[/latex] auf den von den Spalten der Prädiktormatrix [latex]X[/latex] aufgespannten Vektorunterraum. Obwohl die OLS-Methode leistungsstark ist, reagiert sie empfindlich auf Ausreißer, da das Quadrieren der Residuen großen Fehlern einen unverhältnismäßig großen Einfluss auf die endgültige Anpassung verleiht.

UNESCO Nomenclature: 1209
- Statistik

Typ

Software/Algorithmus

Störung

Wesentliche

Verwendung

Weitverbreitete Verwendung

Vorläufer

  • Lineare Algebra (Matrizenoperationen)
  • Differentialrechnung (zum Finden von Minima)
  • Theorie der Beobachtungsfehler (von Astronomen entwickelt)
  • Analytische Geometrie (Descartes)

Anwendungen

  • Parameterschätzung in linearen Regressionsmodellen
  • Signalverarbeitung und digitale Filterung
  • Kontrolltheorie zur Systemidentifikation
  • Ökonometrie zur Modellierung ökonomischer Zusammenhänge
  • astronomische Berechnungen von Umlaufbahnen

Patente:

NA

Potenzielle Innovationsideen

Aufgrund des hohen Datenverkehrs durch Web-Scraping-Bots, der derzeit mehr als 40.000 Anfragen pro Tag umfasst, ist dieser Inhalt ausschließlich Community-Mitgliedern vorbehalten.
> Anmelden < oder > Registrieren < (100% kostenlos) Zugriff darauf sowie auf alle anderen eingeschränkten Inhalte und Tools.

Verwandt mit: Methode der kleinsten Quadrate, OLS, Parameterschätzung, Summe der quadrierten Residuen, Optimierung, Normalgleichungen, lineare Algebra, Regressionsanalyse, Kurvenanpassung, Datenanpassung.

Historischer Kontext

Methode der kleinsten Quadrate (OLS)

1750
1763-12-23
1780
1805
1822
1822
1828
1747
1758
1777
1799
1812
1822
1827
1829

(wenn das Datum unbekannt oder nicht relevant ist, z. B. „Strömungsmechanik“, wird eine gerundete Schätzung seines bemerkenswerten Auftretens bereitgestellt)

Verwandte Erfindungen, Innovationen und technische Prinzipien

Bilder in voller Größe und Downloads sind nur für registrierte Mitglieder 100% kostenlos verfügbar.

> Login <