大都会-黑斯廷斯算法是一个著名的算法 MCMC 方法 用于从难以直接采样的概率分布中获取随机样本序列。在每次迭代中，它基于当前样本生成下一个样本的候选样本。然后，该候选样本以一定的概率被接受或拒绝，从而确保生成的样本链收敛到所需的分布。
大都会-黑斯廷斯算法
1970
- Nicholas Metropolis
- Arianna W. Rosenbluth
- Marshall N. Rosenbluth
- Augusta H. Teller
- Edward Teller
- W. Keith Hastings
（图片仅供参考）
The algorithm works by constructing a Markov chain whose stationary distribution is the target distribution [latex]P(x)[/latex]. Let the current state be [latex]x_t[/latex]. First, a candidate state [latex]x'[/latex] is generated from a proposal distribution [latex]Q(x’|x_t)[/latex], which can be any distribution that is easy to sample from (e.g., a Gaussian centered at [latex]x_t[/latex]). Second, an acceptance probability [latex]\alpha(x’, x_t)[/latex] is calculated: [latex]\alpha(x’, x_t) = \min\left(1, \frac{P(x’)Q(x_t|x’)}{P(x_t)Q(x’|x_t)}\right)[/latex]. A random number [latex]u[/latex] is drawn from a uniform distribution on [latex][0, 1][/latex]. If [latex]u \le \alpha[/latex], the candidate is accepted, and the next state is set to [latex]x_{t+1} = x'[/latex]. Otherwise, the candidate is rejected, and the chain remains at the current state, [latex]x_{t+1} = x_t[/latex].
这种接受率的精妙之处在于，它只需要知道 P(x) 的近似值（相差一个比例常数），因为任何归一化常数都会在 P(x)/P(x_t) 中被抵消。这在贝叶斯统计中至关重要，因为在贝叶斯统计中，后验分布通常只知道难以处理的边缘似然。最初的 Metropolis 算法（1953 年）是一个特例，其中提议分布 Q 是对称的，即 Q(x|x_t) = Q(x_t|x)，从而将接受概率简化为 min(1, P(x)/P(x_t))。 1970 年的推广允许非对称提议分布，大大拓宽了算法的适用范围和效率。
- Algorithms, 实验设计（DOE）, 蒙特卡罗模拟, 质量管理, 模拟, 统计分析, 统计过程控制（SPC）
UNESCO Nomenclature: 1209
- 统计资料
类型
软件/算法
中断
重大的
用法
广泛使用
前体
- Metropolis算法（1953年）
- 马尔可夫链中的详细平衡理论
- 蒙特卡罗积分
- 贝叶斯概率论
应用程序
- 统计力学中玻尔兹曼分布的模拟
- 机器学习中的贝叶斯推断
- 利用模拟退火算法解决复杂的优化问题
- 用于风险建模的计算金融
- 信号处理和图像重建
专利：
NA
潜在创新理念
相关领域：大都会-黑斯廷斯算法、MCMC算法、贝叶斯统计、接受-拒绝算法、提议分布、平稳分布、马尔可夫链、抽样、统计力学、模拟退火算法。
历史背景
大都会-黑斯廷斯算法
（如果日期未知或不相关，例如“流体力学”，则提供其显著出现的近似估计）
