Wprowadzenie
Curriculum Learning (Uczenie według programu) to strategia treningowa, w której model nie otrzymuje danych losowo, lecz w starannie zaplanowanej kolejności – od najprostszych przykładów do coraz trudniejszych. Koncepcja została formalnie wprowadzona w 2009 roku przez Yoshua Bengio i jego współpracowników.
Inspiracja biologiczna
Ludzie nie uczą się wszystkiego naraz. Najpierw poznajemy podstawy (np. litery), potem sylaby, słowa, zdania, a dopiero później skomplikowane teksty. Curriculum Learning przenosi tę intuicję na uczenie maszynowe.
Jak działa Curriculum Learning?
- Definiujemy miarę trudności każdego przykładu treningowego
- Na początku treningu model widzi tylko łatwe przykłady
- Stopniowo wprowadzamy coraz trudniejsze dane
- Model uczy się w sposób bardziej stabilny i efektywny
Główne zalety
- Szybsza konwergencja treningu
- Lepsza ostateczna jakość modelu
- Mniejsze ryzyko utknięcia w złych minimach lokalnych
- Lepsza generalizacja
- Skuteczniejsze wykorzystanie dużych, zróżnicowanych zbiorów danych
Metody określania trudności
- Miara pewności modelu (model confidence)
- Długość sekwencji / złożoność przykładu
- Wynik prostszego modelu nauczyciela
- Self-paced Learning – model sam decyduje co jest trudne
- Miary oparte na danych (np. entropia, gęstość przykładu)
Zastosowania
- Trening dużych modeli językowych (LLM)
- Reinforcement Learning (uczenie agentów)
- Wizja komputerowa
- Tłumaczenie maszynowe
- Uczenie multimodalne
- Medycyna i bioinformatyka
Powiązane pojęcia
Self-Paced Learning • Continual Learning • Catastrophic Forgetting • Transfer Learning • Teacher-Student Framework • Data Scheduling
Dodano: 16 maja 2026