Product Design, Manufacturing & Innovation Resources
Maison » Méthode des moindres carrés ordinaires (MCO)

Méthode des moindres carrés ordinaires (MCO)

1805
  • Adrien-Marie Legendre
  • Carl Friedrich Gauss
Scène de bureau historique illustrant la méthode des moindres carrés ordinaires en statistiques mathématiques.

(Image générée à titre d'illustration uniquement)

Une approche standard pour l'approximation des solutions de systèmes surdéterminés consiste à trouver les paramètres du modèle qui minimisent la somme des carrés des différences entre les valeurs observées et prédites. Cette somme est connue sous le nom de somme des carrés des résidus (SCR). L'objectif est de trouver les paramètres [latex]hat{beta}[/latex] qui minimisent la fonction [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex].

La méthode des moindres carrés ordinaires est une pierre angulaire de l'analyse de régression. Elle offre une méthode directe pour estimer les paramètres inconnus d'un modèle linéaire. Son principe consiste à trouver la droite (ou l'hyperplan en régression multiple) qui passe au plus près de tous les points de données simultanément. Le terme « au plus près » désigne la méthode qui minimise les distances verticales entre chaque point et la droite, plus précisément la somme des carrés de ces distances (résidus).

Ce problème de minimisation peut être résolu à l'aide du calcul différentiel. En dérivant la fonction somme des carrés des résidus [latex]S(beta)[/latex] par rapport au vecteur de paramètres [latex]beta[/latex] et en l'annulant, on obtient un système d'équations appelé « équations normales ». Sous forme matricielle, ces équations s'écrivent : [latex]X^TX hat{beta} = X^T y[/latex], où [latex]X[/latex] est la matrice des variables indépendantes et [latex]y[/latex] le vecteur de la variable dépendante.

La solution pour le vecteur des coefficients estimés est alors donnée par β̂ = (Xᵀ)⁻¹ Xᵀ y. Cette solution analytique est efficace en termes de calcul et fournit une estimation unique, à condition que la matrice Xᵀ soit inversible (c'est-à-dire qu'il n'y ait pas de multicolinéarité parfaite entre les variables indépendantes). Géométriquement, la solution des moindres carrés ordinaires (MCO) correspond à une projection orthogonale du vecteur de résultat y sur le sous-espace vectoriel engendré par les colonnes de la matrice des prédicteurs X. Bien que performante, la méthode des MCO est sensible aux valeurs aberrantes, car l'élévation au carré des résidus confère aux erreurs importantes une influence disproportionnée sur l'ajustement final.

UNESCO Nomenclature: 1209
- Statistiques

Taper

Logiciel/Algorithme

Perturbation

Substantiel

Usage

Utilisation généralisée

Précurseurs

  • Algèbre linéaire (opérations matricielles)
  • Calcul différentiel (pour trouver des minima)
  • Théorie des erreurs d'observation (développée par les astronomes)
  • Géométrie analytique (Descartes)

Applications

  • estimation des paramètres dans les modèles de régression linéaire
  • traitement du signal et le filtrage numérique
  • théorie du contrôle pour l'identification des systèmes
  • économétrie pour la modélisation des relations économiques
  • calculs astronomiques des orbites

Brevets:

NA

Idées d'innovations potentielles

  • surveillance en temps réel de la santé structurelle des ponts en ajustant les données des capteurs aux modèles physiques
  • algorithmes adaptatifs pour la publicité personnalisée qui minimisent les erreurs de prédiction
  • stratégies de trading automatisées à haute fréquence basées sur la minimisation de l'erreur de suivi par rapport à un indice de référence
  • modèles de tarification dynamique pour le commerce électronique qui ajustent les prix en fonction de l'élasticité de la demande en temps réel
  • AI-powered imagerie médicale analysis to fit models of tumor growth to scan data
  • optimisation des rendements agricoles en modélisant la croissance des cultures en fonction des apports d'engrais et des conditions météorologiques
  • précision de localisation GPS améliorée en minimisant les erreurs provenant de plusieurs signaux satellites
  • modèles prédictifs de dégradation des batteries des véhicules électriques
  • génération algorithmique de mouvements de personnages CGI réalistes basés sur des données de capture de mouvement
  • optimisation de la logistique de la chaîne d'approvisionnement pour minimiser les écarts entre la demande prévue et la demande réelle
En lien avec : les moindres carrés, les MCO, l’estimation des paramètres, la somme des carrés des résidus, l’optimisation, les équations normales, l’algèbre linéaire, l’analyse de régression, l’ajustement de courbes, l’ajustement de données.

Contexte historique

Méthode des moindres carrés ordinaires (MCO)

1750
1763-12-23
1780
1805
1822
1822
1828
1747
1758
1777
1799
1812
1822
1827
1829

(si la date est inconnue ou non pertinente, par exemple « mécanique des fluides », une estimation arrondie de son émergence notable est fournie)

10e année anniversaire

Les images en pleine résolution et les téléchargements sont uniquement disponibles, et 100% gratuits, pour les membres inscrits.