Catena di Markov Monte Carlo (MCMC)
1953
- Nicholas Metropolis
- Arianna W. Rosenbluth
- Marshall N. Rosenbluth
- Augusta H. Teller
- Edward Teller
- W. Keith Hastings
Catena di Markov Monte Carlo I metodi MCMC (Markov Chain Monte Carlo) sono una classe di algoritmi per il campionamento da una distribuzione di probabilità. Viene costruita una catena di Markov che ha la distribuzione desiderata come distribuzione di equilibrio o stazionaria. Lo stato della catena dopo un gran numero di passi viene quindi utilizzato come campione dalla distribuzione desiderata, consentendo il calcolo di integrali e valori attesi.
I metodi MCMC sono essenziali quando il campionamento diretto da una distribuzione di probabilità complessa e ad alta dimensionalità [latex]P(x)[/latex] risulta impraticabile. Invece di generare campioni indipendenti, MCMC genera una sequenza di campioni correlati che formano una catena di Markov. Una catena di Markov è un processo stocastico in cui la probabilità di transizione allo stato successivo dipende solo dallo stato corrente, non dalla sequenza di eventi che lo hanno preceduto. La chiave è progettare le probabilità di transizione della catena in modo tale che la sua distribuzione stazionaria sia la distribuzione target [latex]P(x)[/latex].
The process starts at an arbitrary state [latex]x_0[/latex]. At each step [latex]t[/latex], a new state [latex]x_{t+1}[/latex] is generated based on the current state [latex]x_t[/latex] using a specific algorithm (like Metropolis-Hastings). After an initial “burn-in” period, during which the chain converges from its starting point to the high-probability regions of the target distribution, the subsequent states [latex]x_t, x_{t+1}, …[/latex] can be considered as (correlated) samples from [latex]P(x)[/latex]. These samples can then be used to estimate expectations of functions [latex]f(x)[/latex] with respect to [latex]P(x)[/latex] by averaging [latex]f(x_t)[/latex] over the samples. This is particularly useful in Bayesian inference, where [latex]P(x)[/latex] is a posterior distribution of model parameters, and direct calculation is often impossible due to a complex denominator (the evidence or marginal likelihood).
Inoltre: MCMC differs from the basic Monte Carlo method in how it generates samples to estimate a desired distribution or integral. While Monte Carlo methods rely on drawing independent and identically distributed random samples directly from a target distribution or a proposal distribution, MCMC generates samples through a correlated sequence (a Markov chain) where each sample depends on the previous one. This dependency allows MCMC to efficiently explore complex, high-dimensional distributions that are difficult to sample from directly, by constructing a chain that converges to the target distribution over time. In contrast, traditional Monte Carlo methods may struggle with such problems due to inefficiencies in sampling or requiring explicit knowledge of the distribution’s form. Thus, MCMC extends Monte Carlo by harnessing dependence between samples to facilitate sampling in challenging statistical and computational settings.
UNESCO Nomenclature: 1209
- Statistiche
Interruzione
Incrementale
Precursori
- teoria delle catene di Markov (Andrey Markov)
- fondamenti della statistica bayesiana (Thomas Bayes, Pierre-Simon Laplace)
- metodo Monte Carlo originale (Ulam, Von Neumann)
- Teoria ergodica
Applicazioni
- statistica bayesiana per la stima dei parametri
- biologia computazionale per l'inferenza degli alberi filogenetici
- apprendimento automatico per l'addestramento di modelli probabilistici
- fisica computazionale per la simulazione di sistemi molecolari
- econometria per la modellazione di dati finanziari complessi
Idee e potenziali innovazioni
A causa dell'eliminazione del traffico generato dai bot, che attualmente supera i 40.000 al giorno, questo contenuto è riservato ai membri della community.
> Accedi O > Registrati L'accesso a questo contenuto, così come a tutti gli altri contenuti e strumenti riservati, è (100% gratuito).
Argomenti correlati: MCMC, catena di Markov, inferenza bayesiana, statistica, campionamento, distribuzione stazionaria, Metropolis-Hastings, campionamento di Gibbs, statistica computazionale, distribuzione a posteriori.