Algoritmo de Metropolis-Hastings
1970
- Nicholas Metropolis
- Arianna W. Rosenbluth
- Marshall N. Rosenbluth
- Augusta H. Teller
- Edward Teller
- W. Keith Hastings
El algoritmo de Metropolis-Hastings es un algoritmo destacado. MCMC método Para obtener una secuencia de muestras aleatorias de una distribución de probabilidad para la cual el muestreo directo es difícil. En cada iteración, genera un candidato para la siguiente muestra basándose en la muestra actual. Este candidato se acepta o rechaza con una cierta probabilidad, asegurando que la cadena resultante converja a la distribución deseada.
The algorithm works by constructing a Markov chain whose stationary distribution is the target distribution [latex]P(x)[/latex]. Let the current state be [latex]x_t[/latex]. First, a candidate state [latex]x'[/latex] is generated from a proposal distribution [latex]Q(x’|x_t)[/latex], which can be any distribution that is easy to sample from (e.g., a Gaussian centered at [latex]x_t[/latex]). Second, an acceptance probability [latex]\alpha(x’, x_t)[/latex] is calculated: [latex]\alpha(x’, x_t) = \min\left(1, \frac{P(x’)Q(x_t|x’)}{P(x_t)Q(x’|x_t)}\right)[/latex]. A random number [latex]u[/latex] is drawn from a uniform distribution on [latex][0, 1][/latex]. If [latex]u \le \alpha[/latex], the candidate is accepted, and the next state is set to [latex]x_{t+1} = x'[/latex]. Otherwise, the candidate is rejected, and the chain remains at the current state, [latex]x_{t+1} = x_t[/latex].
La genialidad de esta razón de aceptación es que solo requiere conocer [latex]P(x)[/latex] salvo una constante de proporcionalidad, ya que cualquier constante de normalización se cancela en la fracción [latex]frac{P(x’)}{P(x_t)}[/latex]. Esto es crucial en la estadística bayesiana, donde la distribución posterior a menudo se conoce solo hasta la verosimilitud marginal intratable. El algoritmo original de Metropolis (1953) es un caso especial donde la distribución de la propuesta [latex]Q[/latex] es simétrica, es decir, [latex]Q(x’|x_t) = Q(x_t|x’)[/latex], lo que simplifica la probabilidad de aceptación a [latex]minleft(1, frac{P(x’)}{P(x_t)}right)[/latex]. Hastings’ La generalización de 1970 permitió distribuciones de propuestas asimétricas, ampliando significativamente la aplicabilidad y la eficiencia del algoritmo.
UNESCO Nomenclature: 1209
- Estadísticas
Precursores
- Algoritmo de Metrópolis (1953)
- teoría del equilibrio detallado en cadenas de Markov
- Integración de Monte Carlo
- teoría de probabilidad bayesiana
Aplicaciones
- Simulación de la distribución de Boltzmann en mecánica estadística
- inferencia bayesiana en el aprendizaje automático
- Solución de problemas complejos de optimización mediante recocido simulado
- finanzas computacionales para el modelado de riesgos
- procesamiento de señales y reconstrucción de imágenes
Ideas para posibles innovaciones
Debido al bloqueo del tráfico generado por bots, que actualmente supera los 40.000 al día, este contenido está reservado para los miembros de la comunidad.
> Iniciar sesión < o > Registrarse < (100% gratis) para acceder a esto, al igual que a todo el demás contenido y herramientas restringidos.
Relacionado con: Metropolis-Hastings, MCMC, estadística bayesiana, aceptación-rechazo, distribución de propuestas, distribución estacionaria, cadena de Markov, muestreo, mecánica estadística, recocido simulado.