Wprowadzenie
Cyclic Learning Rate (CLR) to technika treningu, w której learning rate nie spada monotonicznie, lecz cyklicznie oscyluje między ustaloną wartością minimalną a maksymalną. Została zaproponowana przez Leslie N. Smith w 2015 roku.
Główne typy Cyclic Learning Rate
- Triangular – liniowe wznoszenie i opadanie
- Triangular2 – learning rate max maleje z każdym cyklem
- Exp Range – learning rate max rośnie wykładniczo
One Cycle Policy (najpopularniejsza)
Rozwinięcie CLR – przez większość treningu learning rate rośnie, a następnie szybko spada. Często pozwala osiągnąć super-convergence – znacznie lepsze wyniki w krótszym czasie.
Zalety Cyclic Learning Rate
- Szybsza konwergencja modelu
- Lepsza generalizacja (unikanie lokalnych minimów)
- Automatyczne „wygrzebywanie się” z plateau
- Mniejsze ryzyko overfittingu
- Łatwość użycia (mało hiperparametrów)
Kiedy stosować?
- Trening dużych modeli (ResNet, EfficientNet, Transformer)
- Ograniczony budżet obliczeniowy
- Potrzeba szybkiego prototypowania
- Trening z transfer learning
Aktualny stan (2026)
CLR i One Cycle Policy są standardem w wielu bibliotekach (fastai, PyTorch Lightning, Hugging Face). Często łączone z nowszymi technikami jak cosine annealing z warm-upem.
Powiązane pojęcia
Learning Rate Scheduler • One Cycle Policy • Super-Convergence • Cosine Annealing • Leslie N. Smith • FastAI
Dodano: 17 maja 2026