Wprowadzenie
<strong>Catastrophic Forgetting</strong> (Katastrofalne Zapominanie), zwane też <strong>catastrophic interference</strong>, to jedno z największych wyzwań w uczeniu ciągłym (continual learning). Polega na tym, że po nauczeniu sieci neuronowej nowego zadania, model gwałtownie zapomina to, czego nauczył się wcześniej.
Na czym polega problem?
Gdy sieć neuronowa uczy się sekwencyjnie różnych zadań, aktualizacja wag podczas treningu na nowym zadaniu nadpisuje ważne parametry odpowiedzialne za poprzednie zadania. W efekcie dokładność na starych zadaniach może spaść nawet o kilkadziesiąt procent.
Główne przyczyny
- Przesunięcie rozkładu gradientów podczas treningu na nowym zadaniu
- Brak mechanizmu ochrony ważnych połączeń neuronowych
- Stabilność-plastyczność (stability-plasticity dilemma)
Rozwiązania problemu
- <strong>Elastic Weight Consolidation (EWC)</strong> – penalizacja zmian ważnych wag
- <strong>Experience Replay</strong> – odtwarzanie próbek z poprzednich zadań
- <strong>Progressive Neural Networks</strong> – dodawanie nowych kolumn sieci
- <strong>Learning without Forgetting (LwF)</strong>
- <strong>Memory Aware Synapses (MAS)</strong>
- <strong>Replay-based methods</strong> (GEM, A-GEM, ER, DER)
Zalety i wady wybranych metod
Najpopularniejsze obecnie podejścia to metody replay (bufor pamięci) oraz metody regularizacyjne (EWC, SI, MAS). W praktyce najlepsze wyniki często dają hybrydowe rozwiązania łączące oba podejścia.
Aktualny stan (2026)
Catastrophic Forgetting pozostaje jednym z kluczowych problemów w dziedzinie Continual Learning i Lifelong Learning. Mimo ogromnego postępu w ostatnich latach, żaden algorytm nie rozwiązuje problemu w pełni uniwersalnie. Szczególnie trudne jest skalowanie na bardzo dużą liczbę zadań (tzw. continual learning at scale).
Online Catastrophic Forgetting Mitigation AI
(sztuczna inteligencja łagodząca katastrofalne zapominanie online) — W dziedzinie sztucznej inteligencji, szczególnie w systemach uczących się w trybie ciągłym i w….
Czy AI pomaga w sztuczna inteligencja łagodząca katastrofalne zapominanie online?
Learning Without Forgetting
(Uczenie bez zapominania) — W dynamicznie zmieniającym się świecie, gdzie systemy AI muszą stale adaptować się do nowych danych i zadań, jednym z największych wyzwań jest tak zwane….
Czy AI pomaga w rozpoznawaniu nowych chorób lub wariantów patogenów w obrazach medycznych?
Model Forgetting Continual Learning AI
(Ciągłe uczenie AI z zapominaniem modelu) — W dziedzinie sztucznej inteligencji, gdzie modele nieustannie uczą się i adaptują do nowych danych, niezwykle istotne jest zarządzanie….
Jak ciągłe uczenie AI z zapominaniem modelu pozwala systemom adaptować się do nowych danych?
Online Forgetting Mitigation AI
(AI łagodzące zapominanie online) — W dynamicznie zmieniających się środowiskach, systemy sztucznej inteligencji często muszą uczyć się i adaptować do nowych danych w sposób ciągły.
Czy AI pomaga w uczeniu się nowych wzorców oszustw, zachowując zdolność do identyfikowania tych?
Dodano: 17 maja 2026