Contrastive Divergence (CD) – algorytm uczenia Restricted Boltzmann Machines | Encyklopedia AI

Wprowadzenie

Contrastive Divergence (CD) to algorytm przybliżonego uczenia stosowany przede wszystkim do trenowania Restricted Boltzmann Machines (RBM). Został wprowadzony przez Geoffreya Hintona w 2002 roku i przez prawie dekadę był jedną z najważniejszych technik w deep learning.

Motywacja

Dokładne trenowanie RBM poprzez maksymalizację log-likelihood wymagałoby bardzo długiego łańcucha Monte Carlo, co jest obliczeniowo nieefektywne. Contrastive Divergence jest szybką i praktyczną aproksymacją gradientu.

Jak działa Contrastive Divergence (k-step CD)?

Faza pozytywna (Positive Phase): Wprowadź dane treningowe do widocznej warstwy i oblicz statystyki.
Faza negatywna (Negative Phase): Uruchom k kroków Gibbs Sampling, zaczynając od danych treningowych.
Oblicz różnicę między statystykami z obu faz.
Zaktualizuj wagi sieci zgodnie z tą różnicą.

Najczęściej używane jest CD-1 (jeden krok Gibbsa) – pomimo dużej aproksymacji działa zaskakująco dobrze.

Zalety

Bardzo szybki w porównaniu do pełnego MCMC
Łatwy w implementacji
Umożliwia efektywne uczenie warstwa po warstwie (layer-wise pretraining)
Był podstawą sukcesu Deep Belief Networks (DBN)

Wady

Wprowadza bias w estymacji gradientu
Słabo skaluje się na bardzo głębokie modele
Z czasem został zastąpiony przez nowocześniejsze metody

Aktualny stan (2026)

Contrastive Divergence ma dziś głównie znaczenie historyczne i edukacyjne. Jest klasycznym przykładem w nauczaniu energy-based models. W praktyce dominują obecnie architektury oparte na transformerach, Variational Autoencoders i Diffusion Models.

Powiązane pojęcia

Contrastive Learning→Contrastive Loss→Deep Contrastive Learning→Intelligent Contrastive Learning AI→Kl Divergence→Kl Divergence Industrial AI→Deep Contrastive Loss→Densecl Contrastive→Kl Divergence Training AI→Deep Boltzmann Machine→

Dodano: 17 maja 2026