Product Design, Manufacturing & Innovation Resources
家 » 大都会-黑斯廷斯算法

大都会-黑斯廷斯算法

1970
  • Nicholas Metropolis
  • Arianna W. Rosenbluth
  • Marshall N. Rosenbluth
  • Augusta H. Teller
  • Edward Teller
  • W. Keith Hastings
Statistician applying Metropolis-Hastings algorithm in a modern research lab.

(图片仅供参考)

大都会-黑斯廷斯算法是一个著名的算法 MCMC method for obtaining a sequence of random samples from a probability distribution for which direct sampling is difficult. At each iteration, it generates a candidate for the next sample based on the current sample. This candidate is then accepted or rejected with a certain probability, ensuring the resulting chain converges to the desired distribution.

该算法的工作原理是构建一个 马尔可夫链 其平稳分布为目标分布 [latex]P(x)[/latex]。设当前状态为 [latex]x_t[/latex]。首先,从提议分布 [latex]Q(x’|x_t)[/latex] 生成候选状态 [latex]x'[/latex],该提议分布可以是任何易于采样的分布(例如,以 [latex]x_t[/latex] 为中心的 Gaussian 分布)。其次,计算接受概率 [latex]alpha(x’, x_t)[/latex]:[latex]alpha(x’, x_t) = minleft(1, frac{P(x’)Q(x_t|x’)}{P(x_t)Q(x’|x_t)}right)[/latex]。从 [latex][0, 1][/latex] 上的均匀分布中抽取一个随机数 [latex]u[/latex]。如果 [latex]u le alpha[/latex],则接受该候选数,并将下一个状态设置为 [latex]x_{t+1} = x'[/latex]。否则,拒绝该候选数,链保持在当前状态 [latex]x_{t+1} = x_t[/latex]。

这种接受率的精妙之处在于,它只需要知道 P(x) 的近似值(相差一个比例常数),因为任何归一化常数都会在 P(x)/P(x_t) 中被抵消。这在贝叶斯统计中至关重要,因为在贝叶斯统计中,后验分布通常只知道难以处理的边缘似然。最初的 Metropolis 算法(1953 年)是一个特例,其中提议分布 Q 是对称的,即 Q(x|x_t) = Q(x_t|x),从而将接受概率简化为 min(1, P(x)/P(x_t))。 1970 年的推广允许非对称提议分布,大大拓宽了算法的适用范围和效率。

UNESCO Nomenclature: 1209
– Statistics

类型

Software/Algorithm

中断

重大的

用法

广泛使用

前体

  • Metropolis算法(1953年)
  • 马尔可夫链中的详细平衡理论
  • Monte Carlo 一体化
  • 贝叶斯概率论

应用程序

  • 模拟 boltzmann distribution 在统计力学中
  • 机器学习中的贝叶斯推断
  • 利用模拟退火算法解决复杂的优化问题
  • 用于风险建模的计算金融
  • 信号处理 和图像重建

专利:

NA

潜在创新理念

  • 能够动态调整提议分布的自适应MCMC算法
  • hamiltonian monte carlo for more efficient exploration of the state space
  • 针对参数数量可变的模型,采用可逆跳跃 MCMC 方法
  • 伪边际MCMC方法用于处理具有难以处理的似然函数的模型
  • 并行退火以克服陷入分布局部模式的困境
  • 复杂统计问题中的自动模型选择
  • 深度生成模型(如变分自编码器)中的推理
  • probabilistic robotics for robot localization and mapping (SLAM)
  • 通过对可能密钥分布进行抽样进行密码分析
  • 基于贝叶斯预测的算法交易策略
相关领域:大都会-黑斯廷斯算法、MCMC算法、贝叶斯统计、接受-拒绝算法、提议分布、平稳分布、马尔可夫链、抽样、统计力学、模拟退火算法。

历史背景

大都会-黑斯廷斯算法

1960
1967
1967
1970
1970
1970
1970-01-01
1960
1960
1967
1970
1970
1970
1970
1973

(如果日期未知或不相关,例如“流体力学”,则提供其显著出现的近似估计)

第十年 周年纪念日

只有注册会员才能免费获取完整尺寸的图片和下载内容。

> 登录 <