Product Design, Manufacturing & Innovation Resources
Heim » Metropolis-Hastings-Algorithmus

Metropolis-Hastings-Algorithmus

1970
  • Nicholas Metropolis
  • Arianna W. Rosenbluth
  • Marshall N. Rosenbluth
  • Augusta H. Teller
  • Edward Teller
  • W. Keith Hastings
Statistiker, der den Metropolis-Hastings-Algorithmus in einem modernen Forschungslabor anwendet.

(Abbildung dient nur zur Veranschaulichung)

Der Metropolis-Hastings-Algorithmus ist ein prominenter MCMC method for obtaining a sequence of random samples from a probability distribution for which direct sampling is difficult. At each iteration, it generates a candidate for the next sample based on the current sample. This candidate is then accepted or rejected with a certain probability, ensuring the resulting chain converges to the desired distribution.

Der Algorithmus funktioniert durch die Konstruktion eines Markov-Kette Deren stationäre Verteilung die Zielverteilung [latex]P(x)[/latex] ist. Der aktuelle Zustand sei [latex]x_t[/latex]. Zunächst wird ein Kandidatenzustand [latex]x'[/latex] aus einer Vorschlagsverteilung [latex]Q(x|x_t)[/latex] generiert, die eine beliebige, leicht zu ziehende Verteilung sein kann (z. B. eine Gaußverteilung mit Mittelwert [latex]x_t[/latex]). Anschließend wird die Akzeptanzwahrscheinlichkeit [latex]alpha(x, x_t)[/latex] berechnet: [latex]alpha(x, x_t) = minleft(1, frac{P(x)Q(x_t|x)}{P(x_t)Q(x|x_t)}right)[/latex]. Eine Zufallszahl u wird aus einer Gleichverteilung auf [0, 1] gezogen. Ist u ≤ α, wird der Kandidat akzeptiert und der nächste Zustand auf xt+1 = x' gesetzt. Andernfalls wird der Kandidat verworfen, und die Kette verbleibt im aktuellen Zustand xt+1 = xt.

Die Genialität dieses Akzeptanzverhältnisses liegt darin, dass es lediglich die Kenntnis von [latex]P(x)[/latex] bis auf eine Proportionalitätskonstante erfordert, da sich jede Normierungskonstante im Bruch [latex]frac{P(x’)}{P(x_t)}[/latex] aufhebt. Dies ist in der Bayes'schen Statistik von entscheidender Bedeutung, da die A-posteriori-Verteilung oft nur bis auf die schwer zu berechnende Randwahrscheinlichkeit bekannt ist. Der ursprüngliche Metropolis-Algorithmus (1953) ist ein Spezialfall, in dem die Vorschlagsverteilung [latex]Q[/latex] symmetrisch ist, d. h. [latex]Q(x’|x_t) = Q(x_t|x’)[/latex], wodurch sich die Akzeptanzwahrscheinlichkeit zu [latex]minleft(1, frac{P(x’)}{P(x_t)}right)[/latex] vereinfacht. Hastings’ Die Verallgemeinerung von 1970 erlaubte asymmetrische Vorschlagsverteilungen und erweiterte damit die Anwendbarkeit und Effizienz des Algorithmus erheblich.

UNESCO Nomenclature: 1209
- Statistik

Typ

Software/Algorithmus

Störung

Wesentliche

Verwendung

Weitverbreitete Verwendung

Vorläufer

  • Metropolis-Algorithmus (1953)
  • Theorie des detaillierten Gleichgewichts in Markov-Ketten
  • Monte Carlo Integration
  • Bayes'sche Wahrscheinlichkeitstheorie

Anwendungen

  • Simulation der Boltzmann-Verteilung in der statistischen Mechanik
  • Bayes'sche Inferenz im maschinellen Lernen
  • Lösung komplexer Optimierungsprobleme mittels simulierter Abkühlung
  • Computergestützte Finanzmathematik für die Risikomodellierung
  • Signalverarbeitung und Bildrekonstruktion

Patente:

NA

Potenzielle Innovationsideen

  • Adaptive MCMC-Algorithmen, die die Vorschlagsverteilung dynamisch anpassen.
  • hamiltonian monte carlo for more efficient exploration of the state space
  • Reversible-Jump-MCMC für Modelle mit variierender Anzahl von Parametern
  • Pseudo-marginales MCMC für Modelle mit nicht berechenbaren Likelihoods
  • Paralleltemperierung, um das Festfahren in lokalen Moden einer Verteilung zu überwinden
  • automatisierte Modellauswahl bei komplexen statistischen Problemen
  • Inferenz in tiefen generativen Modellen wie Variations-Autoencodern
  • probabilistic robotics for robot localization and mapping (SLAM)
  • Kryptoanalyse durch Stichprobenziehung aus Verteilungen möglicher Schlüssel
  • algorithmische Handelsstrategien basierend auf Bayes'scher Prognose
Verwandt mit: Metropolis-Hastings, MCMC, Bayes'sche Statistik, Akzeptanz-Ablehnung, Vorschlagsverteilung, stationäre Verteilung, Markov-Kette, Stichprobenverfahren, statistische Mechanik, simuliertes Ausglühen.

Historischer Kontext

Metropolis-Hastings-Algorithmus

1960
1967
1967
1970
1970
1970
1970-01-01
1960
1960
1967
1970
1970
1970
1970
1973

(wenn das Datum unbekannt oder nicht relevant ist, z. B. „Strömungsmechanik“, wird eine gerundete Schätzung seines bemerkenswerten Auftretens bereitgestellt)

10. Jahr Jubiläum

Bilder in voller Größe und Downloads sind nur für registrierte Mitglieder 100% kostenlos verfügbar.

> Login <