Markov-Ketten-Monte-Carlo-Methode (MCMC)
1953
- Nicholas Metropolis
- Arianna W. Rosenbluth
- Marshall N. Rosenbluth
- Augusta H. Teller
- Edward Teller
- W. Keith Hastings
Markov-Kette Monte Carlo MCMC-Methoden sind eine Klasse von Algorithmen zur Stichprobenziehung aus einer Wahrscheinlichkeitsverteilung. Dabei wird eine Markov-Kette konstruiert, deren Gleichgewichts- oder stationäre Verteilung die gewünschte Verteilung ist. Der Zustand der Kette nach einer großen Anzahl von Schritten dient dann als Stichprobe aus der gewünschten Verteilung und ermöglicht so die Berechnung von Integralen und Erwartungswerten.
MCMC-Methoden sind unerlässlich, wenn das direkte Ziehen von Stichproben aus einer komplexen, hochdimensionalen Wahrscheinlichkeitsverteilung [latex]P(x)[/latex] nicht praktikabel ist. Anstatt unabhängige Stichproben zu generieren, erzeugt MCMC eine Folge korrelierter Stichproben, die eine Markov-Kette bilden. Eine Markov-Kette ist ein stochastischer Prozess, bei dem die Wahrscheinlichkeit des Übergangs zum nächsten Zustand nur vom aktuellen Zustand abhängt, nicht von der vorhergehenden Ereignisfolge. Entscheidend ist, die Übergangswahrscheinlichkeiten der Kette so zu gestalten, dass ihre stationäre Verteilung der Zielverteilung [latex]P(x)[/latex] entspricht.
The process starts at an arbitrary state [latex]x_0[/latex]. At each step [latex]t[/latex], a new state [latex]x_{t+1}[/latex] is generated based on the current state [latex]x_t[/latex] using a specific algorithm (like Metropolis-Hastings). After an initial “burn-in” period, during which the chain converges from its starting point to the high-probability regions of the target distribution, the subsequent states [latex]x_t, x_{t+1}, …[/latex] can be considered as (correlated) samples from [latex]P(x)[/latex]. These samples can then be used to estimate expectations of functions [latex]f(x)[/latex] with respect to [latex]P(x)[/latex] by averaging [latex]f(x_t)[/latex] over the samples. This is particularly useful in Bayesian inference, where [latex]P(x)[/latex] is a posterior distribution of model parameters, and direct calculation is often impossible due to a complex denominator (the evidence or marginal likelihood).
Darüber hinaus: MCMC differs from the basic Monte Carlo method in how it generates samples to estimate a desired distribution or integral. While Monte Carlo methods rely on drawing independent and identically distributed random samples directly from a target distribution or a proposal distribution, MCMC generates samples through a correlated sequence (a Markov chain) where each sample depends on the previous one. This dependency allows MCMC to efficiently explore complex, high-dimensional distributions that are difficult to sample from directly, by constructing a chain that converges to the target distribution over time. In contrast, traditional Monte Carlo methods may struggle with such problems due to inefficiencies in sampling or requiring explicit knowledge of the distribution’s form. Thus, MCMC extends Monte Carlo by harnessing dependence between samples to facilitate sampling in challenging statistical and computational settings.
UNESCO Nomenclature: 1209
- Statistik
Verwendung
Weitverbreitete Verwendung
Vorläufer
- Theorie der Markov-Ketten (Andrey Markov)
- Grundlagen der Bayes'schen Statistik (Thomas Bayes, Pierre-Simon Laplace)
- ursprüngliche Monte-Carlo-Methode (Ulam, Von Neumann)
- Ergodentheorie
Anwendungen
- Bayes'sche Statistik zur Parameterschätzung
- Computerbiologie zur Ableitung phylogenetischer Bäume
- Maschinelles Lernen zum Trainieren probabilistischer Modelle
- Computerphysik zur Simulation molekularer Systeme
- Ökonometrie zur Modellierung komplexer Finanzdaten
Potenzielle Innovationsideen
Aufgrund des hohen Datenverkehrs durch Web-Scraping-Bots, der derzeit mehr als 40.000 Anfragen pro Tag umfasst, ist dieser Inhalt ausschließlich Community-Mitgliedern vorbehalten.
> Anmelden < oder > Registrieren < (100% kostenlos) Zugriff darauf sowie auf alle anderen eingeschränkten Inhalte und Tools.
Verwandt mit: MCMC, Markov-Kette, Bayes'sche Inferenz, Statistik, Stichprobenverfahren, stationäre Verteilung, Metropolis-Hastings, Gibbs-Sampling, computergestützte Statistik, Posteriorverteilung.