Catastrophic Forgetting

Wprowadzenie

Catastrophic Forgetting (Katastrofalne Zapominanie), zwane też catastrophic interference , to jedno z największych wyzwań w uczeniu ciągłym (continual learning). Polega na tym, że po nauczeniu sieci neuronowej nowego zadania, model gwałtownie zapomina to, czego nauczył się wcześniej.

Na czym polega problem?

Gdy sieć neuronowa uczy się sekwencyjnie różnych zadań, aktualizacja wag podczas treningu na nowym zadaniu nadpisuje ważne parametry odpowiedzialne za poprzednie zadania. W efekcie dokładność na starych zadaniach może spaść nawet o kilkadziesiąt procent.

Główne przyczyny

• Przesunięcie rozkładu gradientów podczas treningu na nowym zadaniu

• Brak mechanizmu ochrony ważnych połączeń neuronowych

• Stabilność-plastyczność (stability-plasticity dilemma)

Rozwiązania problemu

• Elastic Weight Consolidation (EWC) – penalizacja zmian ważnych wag

• Experience Replay – odtwarzanie próbek z poprzednich zadań

• Progressive Neural Networks – dodawanie nowych kolumn sieci

• Learning without Forgetting (LwF)

• Memory Aware Synapses (MAS)

• Replay-based methods (GEM, A-GEM, ER, DER)

Zalety i wady wybranych metod

Najpopularniejsze obecnie podejścia to metody replay (bufor pamięci) oraz metody regularizacyjne (EWC, SI, MAS). W praktyce najlepsze wyniki często dają hybrydowe rozwiązania łączące oba podejścia.

Aktualny stan (2026)

Catastrophic Forgetting pozostaje jednym z kluczowych problemów w dziedzinie Continual Learning i Lifelong Learning. Mimo ogromnego postępu w ostatnich latach, żaden algorytm nie rozwiązuje problemu w pełni uniwersalnie. Szczególnie trudne jest skalowanie na bardzo dużą liczbę zadań (tzw. continual learning at scale).

Dodano: 17 maja 2026

office@freenetmedia.pl