Product Design, Manufacturing & Innovation Resources
Casa » Algoritmo Metropolis-Hastings

Algoritmo Metropolis-Hastings

1970
  • Nicholas Metropolis
  • Arianna W. Rosenbluth
  • Marshall N. Rosenbluth
  • Augusta H. Teller
  • Edward Teller
  • W. Keith Hastings
Statistico che applica l'algoritmo Metropolis-Hastings in un moderno laboratorio di ricerca.

(Immagine generata a solo scopo illustrativo)

The Metropolis-Hastings algorithm is a prominent MCMC metodo for obtaining a sequence of random samples from a probability distribution for which direct sampling is difficult. At each iteration, it generates a candidate for the next sample based on the current sample. This candidate is then accepted or rejected with a certain probability, ensuring the resulting chain converges to the desired distribution.

The algorithm works by constructing a Markov chain whose stationary distribution is the target distribution [latex]P(x)[/latex]. Let the current state be [latex]x_t[/latex]. First, a candidate state [latex]x'[/latex] is generated from a proposal distribution [latex]Q(x’|x_t)[/latex], which can be any distribution that is easy to sample from (e.g., a Gaussian centered at [latex]x_t[/latex]). Second, an acceptance probability [latex]\alpha(x’, x_t)[/latex] is calculated: [latex]\alpha(x’, x_t) = \min\left(1, \frac{P(x’)Q(x_t|x’)}{P(x_t)Q(x’|x_t)}\right)[/latex]. A random number [latex]u[/latex] is drawn from a uniform distribution on [latex][0, 1][/latex]. If [latex]u \le \alpha[/latex], the candidate is accepted, and the next state is set to [latex]x_{t+1} = x'[/latex]. Otherwise, the candidate is rejected, and the chain remains at the current state, [latex]x_{t+1} = x_t[/latex].

The brilliance of this acceptance ratio is that it only requires knowing [latex]P(x)[/latex] up to a constant of proportionality, since any normalization constant cancels out in the fraction [latex]frac{P(x’)}{P(x_t)}[/latex]. This is crucial in Bayesian statistics, where the posterior distribution is often known only up to the intractable marginal likelihood. The original Metropolis algorithm (1953) is a special case where the proposal distribution [latex]Q[/latex] is symmetric, i.e., [latex]Q(x’|x_t) = Q(x_t|x’)[/latex], simplifying the acceptance probability to [latex]minleft(1, frac{P(x’)}{P(x_t)}right)[/latex]. Hastings’ 1970 generalization allowed for asymmetric proposal distributions, significantly broadening the algorithm’s applicability and efficiency.

UNESCO Nomenclature: 1209
- Statistiche

Tipo

Software/Algoritmo

Interruzione

Sostanziale

Utilizzo

Uso diffuso

Precursori

  • Algoritmo Metropolis (1953)
  • teoria del bilancio dettagliato nelle catene di Markov
  • Integrazione Monte Carlo
  • teoria della probabilità bayesiana

Applicazioni

  • simulazione della distribuzione di Boltzmann nella meccanica statistica
  • inferenza bayesiana nell'apprendimento automatico
  • risoluzione di complessi problemi di ottimizzazione tramite ricottura simulata
  • finanza computazionale per la modellazione del rischio
  • elaborazione del segnale e ricostruzione delle immagini

Brevetti:

NA

Idee e potenziali innovazioni

A causa dell'eliminazione del traffico generato dai bot, che attualmente supera i 40.000 al giorno, questo contenuto è riservato ai membri della community.
> Accedi O > Registrati L'accesso a questo contenuto, così come a tutti gli altri contenuti e strumenti riservati, è (100% gratuito).

Related to: Metropolis-Hastings, MCMC, Bayesian statistics, acceptance-rejection, proposal distribution, stationary distribution, Markov chain, sampling, statistical mechanics, simulated annealing.

Contesto storico

Algoritmo Metropolis-Hastings

1960
1967
1967
1970
1970
1970
1970-01-01
1960
1960
1967
1970
1970
1970
1970
1973

(se la data è sconosciuta o non rilevante, ad esempio "meccanica dei fluidi", viene fornita una stima approssimativa della sua notevole comparsa)

Invenzioni, innovazioni e principi tecnici correlati

Le immagini a grandezza naturale e i download sono disponibili, 100% gratuitamente, solo per i membri registrati.

> Login <