Product Design, Manufacturing & Innovation Resources
» 최소제곱법(OLS)

최소제곱법(OLS)

1805
  • Adrien-Marie Legendre
  • Carl Friedrich Gauss
Historical office scene depicting the Method of Ordinary Least Squares in mathematical statistics.

(설명을 위한 생성된 이미지입니다)

과결정 시스템의 해를 근사하는 표준적인 접근 방식은 관측값과 예측값 사이의 제곱 차이의 합을 최소화하는 모델 매개변수를 찾는 것입니다. 이 합을 제곱 잔차 합(SSR)이라고 합니다. 목표는 함수 [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex]를 최소화하는 매개변수 [latex]hat{beta}[/latex]를 찾는 것입니다.

최소제곱법은 회귀 분석의 핵심적인 방법입니다. 이 방법은 선형 모델에서 알려지지 않은 매개변수를 직접적으로 추정하는 방법을 제공합니다. 원리는 모든 데이터 포인트에 동시에 가장 가까운 직선(다중 회귀 분석에서는 초평면)을 찾는 것입니다. '가장 가까운' 직선이란 각 데이터 포인트에서 직선까지의 수직 거리를 최소화하는 것을 의미하며, 구체적으로는 이러한 거리의 제곱합(잔차)을 최소화하는 것입니다.

이 최소화 문제는 미적분을 이용하여 해결할 수 있습니다. 제곱 잔차 합 함수 [latex]S(beta)[/latex]를 매개변수 벡터 [latex]beta[/latex]에 대해 미분하고 이를 0으로 설정하면, '정규 방정식'이라고 알려진 일련의 방정식을 얻을 수 있습니다. 행렬 형태로 표현하면 [latex]X^TX hat{beta} = X^T y[/latex]가 되는데, 여기서 [latex]X[/latex]는 독립 변수 행렬이고 [latex]y[/latex]는 종속 변수 벡터입니다.

추정된 계수 벡터에 대한 해는 [latex]hat{beta} = (X^TX)^{-1} X^T y[/latex]로 주어집니다. 이 폐쇄형 해법은 계산 효율성이 높으며, 행렬 [latex]X^TX[/latex]가 역행렬을 갖는다는 조건(즉, 독립 변수들 사이에 완전한 다중공선성이 없다는 조건) 하에서 고유한 추정치를 제공합니다. 기하학적으로, OLS 해법은 결과 벡터 [latex]y[/latex]를 예측 변수 행렬 [latex]X[/latex]의 열들로 이루어진 벡터 부분공간에 직교 투영한 것에 해당합니다. OLS는 강력한 방법이지만, 잔차를 제곱하면 큰 오차가 최종 적합도에 불균형적으로 큰 영향을 미치기 때문에 이상치에 민감합니다.

UNESCO Nomenclature: 1209
통계

유형

소프트웨어/알고리즘

분열

상당한

용법

널리 사용됨

전구체

  • 선형대수(행렬 연산)
  • 미분학 (최소값을 찾는 데 사용)
  • 관측 오차 이론 (천문학자들이 개발)
  • 해석 기하학 (데카르트)

응용 프로그램

  • 선형 회귀 모델에서의 매개변수 추정
  • signal processing and digital filtering
  • 시스템 식별을 위한 제어 이론
  • 경제적 관계 모델링을 위한 계량경제학
  • 궤도의 천문학적 계산

특허:

NA

잠재적 혁신 아이디어

현재 하루 4만 건이 넘는 봇 트래픽을 차단하기 위해 이 콘텐츠는 커뮤니티 회원만 이용할 수 있습니다.
> 로그인 < 또는 >등록 < 이 콘텐츠를 비롯한 모든 제한된 콘텐츠와 도구는 (100% 무료로) 이용할 수 있습니다.

관련 용어: 최소제곱법, OLS, 모수 추정, 잔차 제곱합, 최적화, 정규 방정식, 선형 대수, 회귀 분석, 곡선 맞춤, 데이터 맞춤.

역사적 맥락

최소제곱법(OLS)

1750
1763-12-23
1780
1805
1822
1822
1828
1747
1758
1777
1799
1812
1822
1827
1829

(날짜를 알 수 없거나 관련이 없는 경우, 예를 들어 "유체역학"의 경우, 주목할 만한 등장 시기를 대략적으로 추정하여 제공합니다.)

관련 발명, 혁신 및 기술 원칙

고화질 이미지 및 다운로드는 등록된 회원에게만 100% 무료로 제공됩니다.

> 로그인 <