Product Design, Manufacturing & Innovation Resources
Lar » Método dos Mínimos Quadrados Ordinários (MQO)

Método dos Mínimos Quadrados Ordinários (MQO)

1805
  • Adrien-Marie Legendre
  • Carl Friedrich Gauss
Cena histórica de escritório representando o Método dos Mínimos Quadrados Ordinários em estatística matemática.

(Imagem gerada apenas para fins ilustrativos)

Uma abordagem padrão para aproximar soluções de sistemas sobredeterminados consiste em encontrar parâmetros do modelo que minimizem a soma dos quadrados das diferenças entre os valores observados e previstos. Essa soma é conhecida como soma dos quadrados dos resíduos (SSR). O objetivo é encontrar os parâmetros [latex]hat{beta}[/latex] que minimizem a função [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex].

O método dos mínimos quadrados ordinários é um pilar da análise de regressão. Ele fornece uma maneira direta de estimar os parâmetros desconhecidos em um modelo linear. O princípio é encontrar a reta (ou hiperplano, em regressão múltipla) que esteja mais próxima de todos os pontos de dados simultaneamente. O termo "mais próxima" é definido em termos da minimização das distâncias verticais de cada ponto à reta, especificamente, a soma dos quadrados dessas distâncias (resíduos).

Este problema de minimização pode ser resolvido usando cálculo. Ao derivar a função da soma dos quadrados dos resíduos [latex]S(beta)[/latex] em relação ao vetor de parâmetros [latex]beta[/latex] e igualá-la a zero, obtemos um conjunto de equações conhecido como as “equações normais”. Na forma matricial, estas são expressas como [latex]X^TX hat{beta} = X^T y[/latex], onde [latex]X[/latex] é a matriz das variáveis ​​independentes e [latex]y[/latex] é o vetor da variável dependente.

A solução para o vetor de coeficientes estimado é então dada por [latex]hat{beta} = (X^TX)^{-1} X^T y[/latex]. Esta solução analítica é computacionalmente eficiente e fornece uma estimativa única, desde que a matriz [latex]X^TX[/latex] seja invertível (ou seja, não haja multicolinearidade perfeita entre as variáveis ​​independentes). Geometricamente, a solução por Mínimos Quadrados Ordinários (MQO) corresponde a uma projeção ortogonal do vetor de resultado [latex]y[/latex] no subespaço vetorial gerado pelas colunas da matriz preditora [latex]X[/latex]. Embora poderoso, o MQO é sensível a outliers, pois elevar os resíduos ao quadrado confere aos erros grandes uma influência desproporcionalmente grande no ajuste final.

UNESCO Nomenclature: 1209
Estatísticas

Tipo

Software/Algoritmo

Interrupção

Substancial

Uso

Uso generalizado

Precursores

  • Álgebra linear (operações com matrizes)
  • Cálculo diferencial (para encontrar mínimos)
  • Teoria dos erros de observação (desenvolvida por astrônomos)
  • Geometria analítica (Descartes)

Aplicações

  • Estimação de parâmetros em modelos de regressão linear
  • signal processing and digital filtering
  • Teoria de controle para identificação de sistemas
  • Econometria para modelagem de relações econômicas
  • cálculos astronômicos de órbitas

Patentes:

NA

Ideias de Inovação Potencial

Devido ao tráfego de bots de coleta de dados, atualmente superior a 40 mil por dia, este conteúdo é reservado aos membros da comunidade.
> Login < ou > Registrar < (100% gratuito) para acessar isso, assim como todo o restante do conteúdo e das ferramentas restritas.

Relacionado a: mínimos quadrados, MQO, estimação de parâmetros, soma dos quadrados dos resíduos, otimização, equações normais, álgebra linear, análise de regressão, ajuste de curvas, ajuste de dados.

Contexto histórico

Método dos Mínimos Quadrados Ordinários (MQO)

1750
1763-12-23
1780
1805
1822
1822
1828
1747
1758
1777
1799
1812
1822
1827
1829

(Caso a data seja desconhecida ou irrelevante, por exemplo, "mecânica dos fluidos", é fornecida uma estimativa aproximada de seu surgimento notável)

Princípios relacionados à invenção, inovação e tecnologia

Imagens em tamanho real e downloads estão disponíveis apenas, 100% gratuitos, para membros registrados.