Wprowadzenie
<strong>Cyclic Learning Rate (CLR)</strong> to technika treningu, w której learning rate nie spada monotonicznie, lecz cyklicznie oscyluje między ustaloną wartością minimalną a maksymalną. Została zaproponowana przez Leslie N. Smith w 2015 roku.
Główne typy Cyclic Learning Rate
- <strong>Triangular</strong> – liniowe wznoszenie i opadanie
- <strong>Triangular2</strong> – learning rate max maleje z każdym cyklem
- <strong>Exp Range</strong> – learning rate max rośnie wykładniczo
One Cycle Policy (najpopularniejsza)
Rozwinięcie CLR – przez większość treningu learning rate rośnie, a następnie szybko spada. Często pozwala osiągnąć <strong>super-convergence</strong> – znacznie lepsze wyniki w krótszym czasie.
Zalety Cyclic Learning Rate
- Szybsza konwergencja modelu
- Lepsza generalizacja (unikanie lokalnych minimów)
- Automatyczne „wygrzebywanie się” z plateau
- Mniejsze ryzyko overfittingu
- Łatwość użycia (mało hiperparametrów)
Kiedy stosować?
- Trening dużych modeli (ResNet, EfficientNet, Transformer)
- Ograniczony budżet obliczeniowy
- Potrzeba szybkiego prototypowania
- Trening z transfer learning
Aktualny stan (2026)
CLR i One Cycle Policy są standardem w wielu bibliotekach (fastai, PyTorch Lightning, Hugging Face). Często łączone z nowszymi technikami jak cosine annealing z warm-upem.
Powiązane pojęcia
Learning Rate Schedulers→Dialogue Policy Learning→End To End Learning→One Shot Learning→Adaptive Learning→Deep Learning→Deep Q Learning→Demonstration Learning→Descriptor Learning→E Learning Personalization→
Dodano: 17 maja 2026