Wprowadzenie
Online Learning i Continual Learning to dwa pokrewne paradygmaty uczenia maszynowego, które odchodzą od klasycznego podejścia „train once on static dataset”. Umożliwiają modelom ciągłe dostosowywanie się do napływających danych w czasie rzeczywistym.
Online Learning
Online Learning (zwane też streaming learning) polega na aktualizowaniu modelu po każdej pojedynczej próbce lub małej partii danych. Model nie ma dostępu do całego zbioru treningowego naraz.
- Model aktualizuje parametry po każdej próbce (lub mini-batchu)
- Niskie wymagania pamięciowe
- Stosowane w systemach rekomendacyjnych, detekcji oszustw, przetwarzaniu strumieniowym
- Popularne algorytmy: Online Gradient Descent, Follow-the-Regularized-Leader (FTRL)
Continual Learning (Lifelong Learning)
Continual Learning to zdolność modelu do sekwencyjnego uczenia się wielu zadań lub danych w czasie, przy jednoczesnym zachowaniu wiedzy z poprzednich zadań. Głównym problemem jest Catastrophic Forgetting (katastrofalne zapominanie).
Główne podejścia w Continual Learning
- Replay Methods – przechowywanie i odtwarzanie przykładow z poprzednich zadań (Experience Replay, iCaRL)
- Regularization-based – penalizacja zmian ważnych parametrów (Elastic Weight Consolidation - EWC, Synaptic Intelligence)
- Architecture-based – dynamiczne rozbudowywanie sieci (Progressive Neural Networks, PackNet)
- Parameter Isolation – przypisywanie różnych parametrów do różnych zadań
- Hybrid Methods – połączenie powyższych
Różnice między Online Learning a Continual Learning
- Online Learning – skupia się na efektywnym uczeniu ze strumienia danych (jedno zadanie)
- Continual Learning – skupia się na uczeniu się wielu zadań sekwencyjnie bez zapominania poprzednich
Zastosowania
- Autonomiczne pojazdy (ciągłe dostosowywanie do nowych warunków drogowych)
- Personalizowane systemy rekomendacyjne
- Robotyka i uczenie się przez interakcję
- Medycyna (adaptacja do nowych pacjentów i protokołów)
- Duże modele językowe (ciągłe dostrajanie bez retrenowania od zera)
Powiązane pojęcia
Catastrophic Forgetting • Experience Replay • Elastic Weight Consolidation (EWC) • Incremental Learning • Lifelong Learning • Streaming Learning • Replay Buffers • Domain Adaptation