Product Design, Manufacturing & Innovation Resources
Casa » Method of Ordinary Least Squares (OLS)

Method of Ordinary Least Squares (OLS)

1805
  • Adrien-Marie Legendre
  • Carl Friedrich Gauss
Scena d'ufficio storica che illustra il metodo dei minimi quadrati ordinari in statistica matematica.

(Immagine generata a solo scopo illustrativo)

Un approccio standard per approssimare le soluzioni di sistemi sovradeterminati mediante la ricerca di parametri del modello che minimizzino la somma dei quadrati delle differenze tra valori osservati e previsti. Questa somma è nota come somma dei quadrati dei residui (SSR). L'obiettivo è trovare i parametri [latex]hat{beta}[/latex] che minimizzino la funzione [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex].

Il metodo dei minimi quadrati ordinari è un pilastro dell'analisi di regressione. Fornisce un modo diretto per stimare i parametri incogniti in un modello lineare. Il principio consiste nel trovare la retta (o l'iperpiano nella regressione multipla) che si avvicina simultaneamente a tutti i punti dati. Il termine "più vicino" si definisce minimizzando la distanza verticale di ciascun punto dalla retta, in particolare la somma dei quadrati di queste distanze (residui).

Questo problema di minimizzazione può essere risolto utilizzando il calcolo infinitesimale. Derivando la funzione somma dei quadrati dei residui [latex]S(beta)[/latex] rispetto al vettore dei parametri [latex]beta[/latex] e ponendola uguale a zero, si ottiene un insieme di equazioni note come 'equazioni normali'. In forma matriciale, queste sono espresse come [latex]X^TX hat{beta} = X^T y[/latex], dove [latex]X[/latex] è la matrice delle variabili indipendenti e [latex]y[/latex] è il vettore della variabile dipendente.

La soluzione per il vettore dei coefficienti stimati è quindi data da [latex]hat{beta} = (X^TX)^{-1} X^T y[/latex]. Questa soluzione in forma chiusa è computazionalmente efficiente e fornisce una stima univoca, a condizione che la matrice [latex]X^TX[/latex] sia invertibile (ovvero, non vi sia multicollinearità perfetta tra le variabili indipendenti). Geometricamente, la soluzione OLS corrisponde a una proiezione ortogonale del vettore dei risultati [latex]y[/latex] sul sottospazio vettoriale generato dalle colonne della matrice dei predittori [latex]X[/latex]. Sebbene potente, l'OLS è sensibile agli outlier, poiché l'elevamento al quadrato dei residui conferisce agli errori di grandi dimensioni un'influenza sproporzionatamente grande sull'adattamento finale.

UNESCO Nomenclature: 1209
- Statistiche

Tipo

Software/Algoritmo

Interruzione

Sostanziale

Utilizzo

Uso diffuso

Precursori

  • Linear algebra (matrix operations)
  • Differential calculus (for finding minima)
  • Theory of errors in observation (developed by astronomers)
  • Analytic geometry (Descartes)

Applicazioni

  • parameter estimation in linear regression models
  • signal processing and digital filtering
  • control theory for system identification
  • econometrics for modeling economic relationships
  • astronomical calculations of orbits

Brevetti:

NA

Idee e potenziali innovazioni

A causa dell'eliminazione del traffico generato dai bot, che attualmente supera i 40.000 al giorno, questo contenuto è riservato ai membri della community.
> Accedi O > Registrati L'accesso a questo contenuto, così come a tutti gli altri contenuti e strumenti riservati, è (100% gratuito).

Argomenti correlati: minimi quadrati, OLS, stima dei parametri, somma dei quadrati dei residui, ottimizzazione, equazioni normali, algebra lineare, analisi di regressione, adattamento di curve, adattamento dei dati.

Contesto storico

Method of Ordinary Least Squares (OLS)

1750
1763-12-23
1780
1805
1822
1822
1828
1747
1758
1777
1799
1812
1822
1827
1829

(se la data è sconosciuta o non rilevante, ad esempio "meccanica dei fluidi", viene fornita una stima approssimativa della sua notevole comparsa)

Invenzioni, innovazioni e principi tecnici correlati

Le immagini a grandezza naturale e i download sono disponibili, 100% gratuitamente, solo per i membri registrati.

> Login <