Product Design, Manufacturing & Innovation Resources
بيت » طريقة المربعات الصغرى العادية (OLS)

طريقة المربعات الصغرى العادية (OLS)

1805
  • Adrien-Marie Legendre
  • Carl Friedrich Gauss
Historical office scene depicting the Method of Ordinary Least Squares in mathematical statistics.

(صورة توضيحية فقط)

A standard approach for approximating solutions to overdetermined systems by finding model parameters that minimize the sum of the squared differences between observed and predicted values. This sum is known as the sum of squared residuals (SSR). The goal is to find the parameters [latex]\hat{\beta}[/latex] that minimize the function [latex]S(\beta) = \sum_{i=1}^{n} (y_i – x_i^T \beta)^2[/latex].

The method of ordinary least squares is a cornerstone of regression analysis. It provides a direct way to estimate the unknown parameters in a linear model. The principle is to find the line (or hyperplane in multiple regression) that is closest to all the data points simultaneously. ‘Closest’ is defined in terms of minimizing the vertical distances from each point to the line, specifically, the sum of the squares of these distances (residuals).

This minimization problem can be solved using calculus. By taking the derivative of the sum of squared residuals function [latex]S(\beta)[/latex] with respect to the parameter vector [latex]\beta[/latex] and setting it to zero, we derive a set of equations known as the ‘normal equations’. In matrix form, these are expressed as [latex]X^T X \hat{\beta} = X^T y[/latex], where [latex]X[/latex] is the matrix of independent variables and [latex]y[/latex] is the vector of the dependent variable.

The solution for the estimated coefficient vector is then given by [latex]\hat{\beta} = (X^T X)^{-1} X^T y[/latex]. This closed-form solution is computationally efficient and provides a unique estimate, provided that the matrix [latex]X^T X[/latex] is invertible (i.e., there is no perfect multicollinearity among the independent variables). Geometrically, the OLS solution corresponds to an orthogonal projection of the outcome vector [latex]y[/latex] onto the vector subspace spanned by the columns of the predictor matrix [latex]X[/latex]. While powerful, OLS is sensitive to outliers, as squaring the residuals gives large errors a disproportionately large influence on the final fit.

UNESCO Nomenclature: 1209
– Statistics

يكتب

Software/Algorithm

خلل

Substantial

الاستخدام

استخدام واسع النطاق

مقدمات

  • الجبر الخطي (عمليات المصفوفة)
  • حساب التفاضل (لإيجاد الحد الأدنى)
  • نظرية الأخطاء في الملاحظة (التي طورها علماء الفلك)
  • الهندسة التحليلية (ديكارت)

التطبيقات

  • تقدير المعاملات في نماذج الانحدار الخطي
  • معالجة الإشارات and digital filtering
  • نظرية التحكم لتحديد النظام
  • القياس الاقتصادي لنمذجة العلاقات الاقتصادية
  • الحسابات الفلكية للمدارات

براءات الاختراع:

NA

أفكار ابتكارية محتملة

  • مراقبة صحة الهياكل الإنشائية للجسور في الوقت الفعلي من خلال ملاءمة بيانات المستشعر مع النماذج الفيزيائية
  • خوارزميات تكيفية للإعلانات المخصصة التي تقلل من خطأ التنبؤ
  • استراتيجيات التداول الآلية عالية التردد القائمة على تقليل خطأ التتبع إلى مستوى مرجعي
  • نماذج تسعير ديناميكية للتجارة الإلكترونية تعمل على تعديل الأسعار بناءً على مرونة الطلب في الوقت الفعلي
  • AI-powered التصوير الطبي analysis to fit models of tumor growth to scan data
  • تحسين المحاصيل الزراعية من خلال نمذجة نمو المحاصيل مقابل الأسمدة ومدخلات الطقس
  • تحسين دقة موقع GPS من خلال تقليل الأخطاء الناتجة عن إشارات الأقمار الصناعية المتعددة
  • نماذج تنبؤية لتدهور البطاريات في المركبات الكهربائية
  • إنشاء خوارزمي لحركات الشخصيات الواقعية المولدة بواسطة الكمبيوتر استنادًا إلى بيانات التقاط الحركة
  • تحسين لوجستيات سلسلة التوريد لتقليل التناقضات بين الطلب المتوقع والطلب الفعلي
Related to: least squares, OLS, parameter estimation, sum of squared residuals, optimization, normal equations, linear algebra, regression analysis, curve fitting, data fitting.

السياق التاريخي

طريقة المربعات الصغرى العادية (OLS)

1750
1763-12-23
1780
1805
1822
1822
1828
1747
1758
1777
1799
1812
1822
1827
1829

(إذا كان التاريخ غير معروف أو غير ذي صلة، على سبيل المثال "ميكانيكا الموائع"، يتم توفير تقدير تقريبي لظهوره الملحوظ)

أحدث الإضافات

أهم المنشورات والمقالات

أفضل الأدوات الأصلية

السنة العاشرة عيد

الصور والتنزيلات بالحجم الكامل متاحة فقط، ومجانية تمامًا، للأعضاء المسجلين.