Methode der kleinsten Quadrate (OLS)
1805
- Adrien-Marie Legendre
- Carl Friedrich Gauss
Ein Standardverfahren zur Approximation von Lösungen überbestimmter Systeme besteht darin, Modellparameter zu finden, die die Summe der quadrierten Differenzen zwischen beobachteten und vorhergesagten Werten minimieren. Diese Summe wird als Summe der quadrierten Residuen (SSR) bezeichnet. Ziel ist es, die Parameter β̂ zu finden, die die Funktion S(β) = ∑_{i=1}^{n} (y_i x_i^T β)^2 minimieren.
Die Methode der kleinsten Quadrate ist ein Eckpfeiler der Regressionsanalyse. Sie ermöglicht die direkte Schätzung der unbekannten Parameter in einem linearen Modell. Das Prinzip besteht darin, die Gerade (bzw. Hyperebene bei multipler Regression) zu finden, die allen Datenpunkten gleichzeitig am nächsten liegt. „Am nächsten“ bedeutet, die vertikalen Abstände jedes Punktes zur Geraden zu minimieren, genauer gesagt die Summe der Quadrate dieser Abstände (Residuen).
Dieses Minimierungsproblem lässt sich mithilfe der Differentialrechnung lösen. Indem man die Ableitung der Summe der quadrierten Residuenfunktion S(β) nach dem Parametervektor β bildet und diese gleich null setzt, erhält man ein Gleichungssystem, die sogenannten Normalgleichungen. In Matrixform lauten diese Xᵀβ̂ = Xᵀy, wobei X die Matrix der unabhängigen Variablen und y der Vektor der abhängigen Variablen ist.
Die Lösung für den geschätzten Koeffizientenvektor ist gegeben durch [latex]hat{beta} = (X^TX)^{-1} X^T y[/latex]. Diese geschlossene Lösung ist recheneffizient und liefert eine eindeutige Schätzung, vorausgesetzt, die Matrix [latex]X^TX[/latex] ist invertierbar (d. h., es besteht keine perfekte Multikollinearität zwischen den unabhängigen Variablen). Geometrisch entspricht die OLS-Lösung einer orthogonalen Projektion des Ergebnisvektors [latex]y[/latex] auf den von den Spalten der Prädiktormatrix [latex]X[/latex] aufgespannten Vektorunterraum. Obwohl die OLS-Methode leistungsstark ist, reagiert sie empfindlich auf Ausreißer, da das Quadrieren der Residuen großen Fehlern einen unverhältnismäßig großen Einfluss auf die endgültige Anpassung verleiht.
UNESCO Nomenclature: 1209
- Statistik
Verwendung
Weitverbreitete Verwendung
Vorläufer
- Lineare Algebra (Matrizenoperationen)
- Differentialrechnung (zum Finden von Minima)
- Theorie der Beobachtungsfehler (von Astronomen entwickelt)
- Analytische Geometrie (Descartes)
Anwendungen
- Parameterschätzung in linearen Regressionsmodellen
- Signalverarbeitung und digitale Filterung
- Kontrolltheorie zur Systemidentifikation
- Ökonometrie zur Modellierung ökonomischer Zusammenhänge
- astronomische Berechnungen von Umlaufbahnen
Potenzielle Innovationsideen
Aufgrund des hohen Datenverkehrs durch Web-Scraping-Bots, der derzeit mehr als 40.000 Anfragen pro Tag umfasst, ist dieser Inhalt ausschließlich Community-Mitgliedern vorbehalten.
> Anmelden < oder > Registrieren < (100% kostenlos) Zugriff darauf sowie auf alle anderen eingeschränkten Inhalte und Tools.
Verwandt mit: Methode der kleinsten Quadrate, OLS, Parameterschätzung, Summe der quadrierten Residuen, Optimierung, Normalgleichungen, lineare Algebra, Regressionsanalyse, Kurvenanpassung, Datenanpassung.