Wprowadzenie
Epoch (epoka) to jedno pełne przejście modelu przez cały zbiór treningowy. Oznacza, że każdy przykład treningowy został użyty dokładnie raz do aktualizacji wag modelu.
Epoch vs Batch vs Iteration
- Epoch – jedno przejście przez cały dataset
- Batch – mała porcja danych przetwarzana jednocześnie
- Iteration – jedna aktualizacja wag modelu (po przetworzeniu jednego batcha)
Przykład: Dataset ma 100 000 przykładów, batch size = 512 → jedna epoka = ~196 iteracji.
Znaczenie liczby epochów
- Zbyt mało epochów → model niedouczony (underfitting)
- Zbyt dużo epochów → model przeuczony (overfitting)
- Optymalna liczba epochów jest zwykle ustalana eksperymentalnie
Early Stopping – najlepsze rozwiązanie
Zamiast ręcznie ustalać liczbę epochów, najczęściej stosuje się Early Stopping – algorytm automatycznie zatrzymuje trening, gdy jakość modelu na zbiorze walidacyjnym przestaje się poprawiać.
Typowe wartości liczby epochów
- Małe modele / proste zadania: 10–50 epochów
- Duże modele (LLM, Vision): często 1–10 epochów (przy ogromnych zbiorach danych)
- Fine-tuning modeli: zwykle 1–5 epochów
- Pre-training od zera: dziesiątki lub setki epochów
Powiązane pojęcia
Early Stopping • Batch Size • Iteration • Overfitting • Underfitting • Validation Loss • Learning Rate Scheduler • Gradient Descent • Training Loop