Product Design, Manufacturing & Innovation Resources
Maison » Méthode des moindres carrés ordinaires (MCO)

Méthode des moindres carrés ordinaires (MCO)

1805
  • Adrien-Marie Legendre
  • Carl Friedrich Gauss
Scène de bureau historique illustrant la méthode des moindres carrés ordinaires en statistiques mathématiques.

(Image générée à titre d'illustration uniquement)

Une approche standard pour l'approximation des solutions de systèmes surdéterminés consiste à trouver les paramètres du modèle qui minimisent la somme des carrés des différences entre les valeurs observées et prédites. Cette somme est connue sous le nom de somme des carrés des résidus (SCR). L'objectif est de trouver les paramètres [latex]hat{beta}[/latex] qui minimisent la fonction [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex].

La méthode des moindres carrés ordinaires est une pierre angulaire de l'analyse de régression. Elle offre une méthode directe pour estimer les paramètres inconnus d'un modèle linéaire. Son principe consiste à trouver la droite (ou l'hyperplan en régression multiple) qui passe au plus près de tous les points de données simultanément. Le terme « au plus près » désigne la méthode qui minimise les distances verticales entre chaque point et la droite, plus précisément la somme des carrés de ces distances (résidus).

Ce problème de minimisation peut être résolu à l'aide du calcul différentiel. En dérivant la fonction somme des carrés des résidus [latex]S(beta)[/latex] par rapport au vecteur de paramètres [latex]beta[/latex] et en l'annulant, on obtient un système d'équations appelé « équations normales ». Sous forme matricielle, ces équations s'écrivent : [latex]X^TX hat{beta} = X^T y[/latex], où [latex]X[/latex] est la matrice des variables indépendantes et [latex]y[/latex] le vecteur de la variable dépendante.

La solution pour le vecteur des coefficients estimés est alors donnée par β̂ = (Xᵀ)⁻¹ Xᵀ y. Cette solution analytique est efficace en termes de calcul et fournit une estimation unique, à condition que la matrice Xᵀ soit inversible (c'est-à-dire qu'il n'y ait pas de multicolinéarité parfaite entre les variables indépendantes). Géométriquement, la solution des moindres carrés ordinaires (MCO) correspond à une projection orthogonale du vecteur de résultat y sur le sous-espace vectoriel engendré par les colonnes de la matrice des prédicteurs X. Bien que performante, la méthode des MCO est sensible aux valeurs aberrantes, car l'élévation au carré des résidus confère aux erreurs importantes une influence disproportionnée sur l'ajustement final.

UNESCO Nomenclature: 1209
- Statistiques

Taper

Logiciel/Algorithme

Perturbation

Substantiel

Usage

Utilisation généralisée

Précurseurs

  • Algèbre linéaire (opérations matricielles)
  • Calcul différentiel (pour trouver des minima)
  • Théorie des erreurs d'observation (développée par les astronomes)
  • Géométrie analytique (Descartes)

Applications

  • estimation des paramètres dans les modèles de régression linéaire
  • traitement du signal et filtrage numérique
  • théorie du contrôle pour l'identification des systèmes
  • économétrie pour la modélisation des relations économiques
  • calculs astronomiques des orbites

Brevets:

NA

Idées d'innovations potentielles

En raison du trafic généré par les robots de scraping, actuellement supérieur à 40 000 par jour, ce contenu est réservé aux membres de la communauté.
> Connexion < ou > Registre < (100% gratuit) pour y accéder, ainsi qu'à tous les autres contenus et outils à accès restreint.

En lien avec : les moindres carrés, les MCO, l’estimation des paramètres, la somme des carrés des résidus, l’optimisation, les équations normales, l’algèbre linéaire, l’analyse de régression, l’ajustement de courbes, l’ajustement de données.

Contexte historique

Méthode des moindres carrés ordinaires (MCO)

1750
1763-12-23
1780
1805
1822
1822
1828
1747
1758
1777
1799
1812
1822
1827
1829

(si la date est inconnue ou non pertinente, par exemple « mécanique des fluides », une estimation arrondie de son émergence notable est fournie)

Inventions, innovations et principes techniques connexes

Les images en pleine résolution et les téléchargements sont uniquement disponibles, et 100% gratuits, pour les membres inscrits.