Product Design, Manufacturing & Innovation Resources
Hogar » Algoritmo de Metropolis-Hastings

Algoritmo de Metropolis-Hastings

1970
  • Nicholas Metropolis
  • Arianna W. Rosenbluth
  • Marshall N. Rosenbluth
  • Augusta H. Teller
  • Edward Teller
  • W. Keith Hastings
Estadístico aplicando el algoritmo Metropolis-Hastings en un moderno laboratorio de investigación.

(Imagen generada únicamente con fines ilustrativos)

El algoritmo de Metropolis-Hastings es un algoritmo destacado. MCMC method for obtaining a sequence of random samples from a probability distribution for which direct sampling is difficult. At each iteration, it generates a candidate for the next sample based on the current sample. This candidate is then accepted or rejected with a certain probability, ensuring the resulting chain converges to the desired distribution.

El algoritmo funciona construyendo un cadena de Markov cuya distribución estacionaria es la distribución objetivo [latex]P(x)[/latex]. Sea el estado actual [latex]x_t[/latex]. Primero, se genera un estado candidato [latex]x'[/latex] a partir de una distribución propuesta [latex]Q(x’|x_t)[/latex], que puede ser cualquier distribución de la que sea fácil muestrear (por ejemplo, una gaussiana centrada en [latex]x_t[/latex]). Segundo, se calcula una probabilidad de aceptación [latex]alpha(x’, x_t)[/latex]: [latex]alpha(x’, x_t) = minleft(1, frac{P(x’)Q(x_t|x’)}{P(x_t)Q(x’|x_t)}right)[/latex]. Se extrae un número aleatorio [latex]u[/latex] de una distribución uniforme en [latex][0, 1][/latex]. Si [latex]u le alpha[/latex], el candidato es aceptado y el siguiente estado se establece en [latex]x_{t+1} = x'[/latex]. De lo contrario, el candidato es rechazado y la cadena permanece en el estado actual, [latex]x_{t+1} = x_t[/latex].

La genialidad de esta razón de aceptación es que solo requiere conocer [latex]P(x)[/latex] salvo una constante de proporcionalidad, ya que cualquier constante de normalización se cancela en la fracción [latex]frac{P(x’)}{P(x_t)}[/latex]. Esto es crucial en la estadística bayesiana, donde la distribución posterior a menudo se conoce solo hasta la verosimilitud marginal intratable. El algoritmo original de Metropolis (1953) es un caso especial donde la distribución de la propuesta [latex]Q[/latex] es simétrica, es decir, [latex]Q(x’|x_t) = Q(x_t|x’)[/latex], lo que simplifica la probabilidad de aceptación a [latex]minleft(1, frac{P(x’)}{P(x_t)}right)[/latex]. Hastings’ La generalización de 1970 permitió distribuciones de propuestas asimétricas, ampliando significativamente la aplicabilidad y la eficiencia del algoritmo.

UNESCO Nomenclature: 1209
- Estadísticas

Tipo

Software/Algoritmo

Ruptura

Sustancial

Uso

Uso generalizado

Precursores

  • Algoritmo de Metrópolis (1953)
  • teoría del equilibrio detallado en cadenas de Markov
  • Montecarlo integración
  • teoría de probabilidad bayesiana

Aplicaciones

  • simulando el distribución de Boltzmann en mecánica estadística
  • inferencia bayesiana en el aprendizaje automático
  • Solución de problemas complejos de optimización mediante recocido simulado
  • finanzas computacionales para el modelado de riesgos
  • procesamiento de señales y reconstrucción de imágenes

Patentes:

NA

Ideas para posibles innovaciones

  • Algoritmos MCMC adaptativos que ajustan la distribución de propuestas sobre la marcha
  • hamiltonian monte carlo for more efficient exploration of the state space
  • MCMC de salto reversible para modelos con un número variable de parámetros
  • MCMC pseudomarginal para modelos con probabilidades intratables
  • Templado paralelo para superar el estancamiento en los modos locales de una distribución
  • Selección automatizada de modelos en problemas estadísticos complejos
  • Inferencia en modelos generativos profundos como autocodificadores variacionales
  • probabilistic robotics for robot localization and mapping (SLAM)
  • criptoanálisis mediante muestreo de distribuciones de claves posibles
  • Estrategias de trading algorítmico basadas en pronósticos bayesianos
Relacionado con: Metropolis-Hastings, MCMC, estadística bayesiana, aceptación-rechazo, distribución de propuestas, distribución estacionaria, cadena de Markov, muestreo, mecánica estadística, recocido simulado.

Contexto histórico

Algoritmo de Metropolis-Hastings

1960
1967
1967
1970
1970
1970
1970-01-01
1960
1960
1967
1970
1970
1970
1970
1973

(Si la fecha es desconocida o no es relevante, por ejemplo "mecánica de fluidos", se proporciona una estimación redondeada de su aparición notable)

décimo año aniversario

Las imágenes en tamaño completo y las descargas solo están disponibles, de forma totalmente gratuita, para los miembros registrados.

> Acceso <