과결정 시스템의 해를 근사하는 표준적인 접근 방식은 관측값과 예측값 사이의 제곱 차이의 합을 최소화하는 모델 매개변수를 찾는 것입니다. 이 합을 제곱 잔차 합(SSR)이라고 합니다. 목표는 함수 [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex]를 최소화하는 매개변수 [latex]hat{beta}[/latex]를 찾는 것입니다.

(설명을 위한 생성된 이미지입니다)
과결정 시스템의 해를 근사하는 표준적인 접근 방식은 관측값과 예측값 사이의 제곱 차이의 합을 최소화하는 모델 매개변수를 찾는 것입니다. 이 합을 제곱 잔차 합(SSR)이라고 합니다. 목표는 함수 [latex]S(beta) = sum_{i=1}^{n} (y_i – x_i^T beta)^2[/latex]를 최소화하는 매개변수 [latex]hat{beta}[/latex]를 찾는 것입니다.
최소제곱법은 회귀 분석의 핵심적인 방법입니다. 이 방법은 선형 모델에서 알려지지 않은 매개변수를 직접적으로 추정하는 방법을 제공합니다. 원리는 모든 데이터 포인트에 동시에 가장 가까운 직선(다중 회귀 분석에서는 초평면)을 찾는 것입니다. '가장 가까운' 직선이란 각 데이터 포인트에서 직선까지의 수직 거리를 최소화하는 것을 의미하며, 구체적으로는 이러한 거리의 제곱합(잔차)을 최소화하는 것입니다.
이 최소화 문제는 미적분을 이용하여 해결할 수 있습니다. 제곱 잔차 합 함수 [latex]S(beta)[/latex]를 매개변수 벡터 [latex]beta[/latex]에 대해 미분하고 이를 0으로 설정하면, '정규 방정식'이라고 알려진 일련의 방정식을 얻을 수 있습니다. 행렬 형태로 표현하면 [latex]X^TX hat{beta} = X^T y[/latex]가 되는데, 여기서 [latex]X[/latex]는 독립 변수 행렬이고 [latex]y[/latex]는 종속 변수 벡터입니다.
추정된 계수 벡터에 대한 해는 [latex]hat{beta} = (X^TX)^{-1} X^T y[/latex]로 주어집니다. 이 폐쇄형 해법은 계산 효율성이 높으며, 행렬 [latex]X^TX[/latex]가 역행렬을 갖는다는 조건(즉, 독립 변수들 사이에 완전한 다중공선성이 없다는 조건) 하에서 고유한 추정치를 제공합니다. 기하학적으로, OLS 해법은 결과 벡터 [latex]y[/latex]를 예측 변수 행렬 [latex]X[/latex]의 열들로 이루어진 벡터 부분공간에 직교 투영한 것에 해당합니다. OLS는 강력한 방법이지만, 잔차를 제곱하면 큰 오차가 최종 적합도에 불균형적으로 큰 영향을 미치기 때문에 이상치에 민감합니다.
현재 하루 4만 건이 넘는 봇 트래픽을 차단하기 위해 이 콘텐츠는 커뮤니티 회원만 이용할 수 있습니다.
> 로그인 < 또는 >등록 < 이 콘텐츠를 비롯한 모든 제한된 콘텐츠와 도구는 (100% 무료로) 이용할 수 있습니다.
최소제곱법(OLS)
(날짜를 알 수 없거나 관련이 없는 경우, 예를 들어 "유체역학"의 경우, 주목할 만한 등장 시기를 대략적으로 추정하여 제공합니다.)
고화질 이미지 및 다운로드는 등록된 회원에게만 100% 무료로 제공됩니다.
> 로그인 <