Wprowadzenie
Variational Inference (VI) to technika przybliżonego wnioskowania bayesowskiego. Zamiast obliczać dokładny, często niemożliwy do wyznaczenia rozkład posteriorowy p(θ|D), wprowadzamy prostszy, parametryzowany rozkład q(θ; φ) (variational distribution), który staramy się jak najlepiej dopasować do prawdziwego posterioru.
Główna idea
VI zamienia problem całkowania na problem optymalizacji. Minimalizujemy dywergencję KL między rozkładem przybliżonym q a prawdziwym posteriorem p:
φ* = arg min_φ KL(q(θ; φ) || p(θ|D))
Evidence Lower Bound (ELBO)
Bezpośrednio minimalizujemy KL, ale w praktyce maksymalizujemy ELBO (Evidence Lower Bound):
ELBO(φ) = E[q(θ;φ)] [log p(D, θ)] − E[q(θ;φ)] [log q(θ; φ)]ELBO jest dolnym ograniczeniem log-evidence (log p(D)). Maksymalizacja ELBO automatycznie minimalizuje KL.
Popularne warianty
- Mean-Field Variational Inference – zakłada niezależność zmiennych
- Amortized Variational Inference – uczymy sieć neuronową przewidywać parametry q (używane w VAE)
- Black-Box Variational Inference (BBVI)
- Stochastic Variational Inference (SVI)
- Variational Autoencoders (VAE) – najsłynniejsza aplikacja VI
Zalety i wady
- Zalety: Skalowalność do bardzo dużych danych i modeli, możliwość użycia gradientów (reparametrization trick)
- Wady: Często zaniża niepewność (underestimates variance), może utknąć w lokalnych minimach, wrażliwość na wybór rodziny rozkładów q
Zastosowania
- Variational Autoencoders (VAE i warianty)
- Bayesian Neural Networks
- Topic Modeling
- Gaussian Process Approximation
- Reinforcement Learning (np. Soft Actor-Critic)
- Modele generatywne i latent variable models
Powiązane pojęcia
ELBO • KL Divergence • Variational Autoencoder (VAE) • Bayesian Inference • MCMC • Amortized Inference • Evidence Lower Bound • Reparameterization Trick