Product Design, Manufacturing & Innovation Resources

家 » 高斯-马尔可夫定理

高斯-马尔可夫定理

1900

Carl Friedrich Gauss
Andrey Markov

（图片仅供参考）

该定理指出：在误差均值为零、互不相关且方差恒定（即方差齐性）的线性回归模型中，普通最小二乘法（OLS）估计量是最佳线性无偏估计量（BLUE）。‘最佳’意味着它在所有回归系数的线性无偏估计量中具有最小方差，因而具有最高精度。.

The Gauss-Markov theorem is a central result in the theory of linear regression that gives OLS its strong theoretical appeal. It guarantees that if a specific set of assumptions holds, no other linear and unbiased estimator will be more efficient than OLS. Let’s break down the BLUE acronym. ‘Linear’ means the estimator for the coefficients is a linear combination of the observed dependent variable values. ‘Unbiased’ means that on average, the estimator will yield the true population parameter; its expected value is the true value, [latex]E(\hat{\beta}) = \beta[/latex]. ‘Best’ signifies that the OLS estimator has the minimum variance in its sampling distribution compared to any other linear unbiased estimator.

高斯-马尔科夫假设的核心假设如下：1. 模型参数呈线性关系。2. 误差的条件均值为零（[latex]E(\varepsilon | X) = 0[/latex]）。3. 自变量之间不存在完全共线性。4. 误差项具有恒定方差（[latex]Var(\varepsilon | X) = \sigma^2[/latex]）且无自相关性（当[latex]i \neq j[/latex]时，[latex]Cov(\varepsilon_i, \varepsilon_j | X) = 0[/latex]）。.

关键在于，该定理并不要求误差服从正态分布。正态性假设是在需要对系数进行精确的有限样本假设检验（例如t检验和F检验）时才添加的。当高斯-马尔可夫假设不成立时（例如，存在异方差性或自相关），普通最小二乘法（OLS）不再是最佳最优无偏估计（BLUE），而广义最小二乘法（GLS）等替代估计方法可能更有效。

质量控制, 质量管理, 统计分析, 统计过程控制（SPC）, 统计测试

UNESCO Nomenclature: 1209

- 统计资料

类型

抽象系统

中断

基础

用法

广泛使用

前体

最小二乘法（高斯法）
概率论（期望和方差的概念）
线性代数和矩阵理论
早期关于估计理论的研究

应用程序

为在许多实际场景中使用普通最小二乘法（OLS）提供了理论依据。
作为线性模型中统计推断（置信区间、假设检验）的基础
可作为比较其他更复杂估计器效率的理论基准

专利：

潜在创新理念

由于机器人流量被拦截（目前每天超过 4 万），此内容仅限社区成员查看。
> 登录 > 或者 > 注册 < （100% 免费）即可访问此内容，以及所有其他受限内容和工具。

相关主题：高斯-马尔可夫定理、BLUE（最佳线性无偏估计量）、OLS（普通最小二乘法）、等方差性、无关误差、最小方差、统计推断、线性模型假设、计量经济学。.

历史背景

数字逻辑中的布尔代数

数字电子学基于布尔代数，这是一种由乔治·布尔提出的逻辑数学系统。它使用两个值，通常是0和1（或真和假），以及三种基本运算：与（AND）、或（OR）和非（NOT）。这些运算直接对应于构成所有数字电路基本单元的逻辑门。

同胚

同胚是指两个拓扑空间之间的连续函数，且该函数存在连续的逆函数。如果这样的函数存在，则称两个拓扑空间是同胚的。从拓扑学的角度来看，同胚空间是相同的。这个概念体现了物体可以被拉伸、弯曲或变形为另一个物体而不会撕裂或粘合的思想，例如将咖啡杯变成甜甜圈。

吉布斯现象

吉布斯现象描述了傅里叶级数在跳跃不连续点处的行为。级数的部分和在跳跃点附近会出现一个过冲，并且随着级数项数的增加，这个过冲并不会消失。无论级数项数如何，这个过冲最终都会收敛到一个约为跳跃高度9%的常数值。

高斯-马尔可夫定理

布劳威尔定点定理

该定理指出，对于映射紧凑凸集到自身的任何连续函数 [latex]f[/latex]，存在一个点 [latex]x_0[/latex]，使得 [latex]f(x_0) = x_0[/latex]。这个点称为定点。非正式地讲，如果把一个国家的地图揉成一团，然后放在这个国家的边界内，那么地图上总会有至少一个点在其对应的现实世界位置的正上方。

策梅洛-弗兰克尔集合论 (ZFC)

策梅洛-弗兰克尔集合论（Zermelo-Fraenkel set theory，简称ZFC，其中ZFC包含选择公理）是当代数学的标准公理系统。它由一系列用一阶逻辑表达的公理组成，这些公理形式化了集合的性质。当今几乎所有数学定理都可以用ZFC来表述和证明。

方差分割（ANOVA）

方差分析 (ANOVA) 是一种统计方法，它将数据集中观察到的总变异性划分为可归因于不同来源的各个部分。其核心思想是比较不同组均值之间的方差与组内方差。如果组间方差显著较大，则表明组均值确实存在差异。

1854

1895

1899

1900

1911

1922

1925

1854

1884

1896

1900

1903

1914

1924

1925

黎曼几何

黎曼几何是微分几何的一个分支，研究黎曼流形——具有黎曼度量的光滑流形。该度量是切空间上内积的集合，其值随点而平滑变化。它允许定义局部几何概念，例如角度、曲线长度、表面积和体积，从而引出广义的曲率概念。

秩零定理

在线性代数中，秩-零度定理指出：对于任意有限维向量空间之间的线性映射 [latex]T: V \to W[/latex]，其定义域维数 [latex]V[/latex] 等于其秩（像的维数）与零度（核的维数）之和。其公式为：\dim(V) = \text{rank}(T) + \text{nullity}(T)。.

素数定理

素数定理描述了素数在整数中的渐近分布。它指出，质数计数函数 [latex]\pi(x)[/latex]（给出小于或等于 [latex]x[/latex] 的质数个数）在渐近上等价于 [latex]x / \ln(x)[/latex]。形式上，[latex]lim_{x \to \infty}\frac\{pi(x)}{x/\ln(x)} = 1[/latex]。这提供了素数和自然对数之间的基本联系。.

判定系数（R²）

表示模型拟合程度的统计量，代表因变量中可由自变量预测的方差比例。R² 为 1 表示完全拟合，0 表示没有线性关系。计算公式为 [latex]R^2 \equiv 1 - \frac{SS_{res}}{SS_{tot}}[/latex], 其中 [latex]SS_{res}[/latex] 为残差平方和。.

弗雷德霍尔姆指数

弗雷德霍姆指数将秩-零度定理推广到巴拿赫空间等无限维空间。对于弗雷德霍姆算子 [latex]T： X → Y，其指标定义为：\text{ind}(T) = \dim(\ker(T)) - \dim(\text{coker}(T))其中余核维度衡量像空间与整个空间的距离。该指标在算子的小扰动下保持稳定的整数值。.

拓扑空间

拓扑空间是有序对 [latex]（X，\tau）[/latex]，其中 [latex]X[/latex] 是一个集合，[latex]\tau[/latex] 是 [latex]X[/latex] 的子集集合，称为开集，满足三个公理：1）空集 [latex]\emptyset[/latex] 和 [latex]X[/latex] 本身都在 [latex]\tau[/latex] 中。2) [latex]\tau[/latex] 中任意多个集合的联合也在 [latex]\tau[/latex] 中。3）[latex]\tau[/latex] 中任意有限个集合的交集也在 [latex]\tau[/latex] 中。