Epoch

Wprowadzenie

Epoch (epoka) to jedno pełne przejście modelu przez cały zbiór treningowy. Oznacza, że każdy przykład treningowy został użyty dokładnie raz do aktualizacji wag modelu.

Epoch vs Batch vs Iteration

• Epoch – jedno przejście przez cały dataset
• Batch – mała porcja danych przetwarzana jednocześnie
• Iteration – jedna aktualizacja wag modelu (po przetworzeniu jednego batcha)

Przykład: Dataset ma 100 000 przykładów, batch size = 512 → jedna epoka = ~196 iteracji.

Znaczenie liczby epochów

• Zbyt mało epochów → model niedouczony (underfitting)
• Zbyt dużo epochów → model przeuczony (overfitting)
• Optymalna liczba epochów jest zwykle ustalana eksperymentalnie

Early Stopping – najlepsze rozwiązanie

Zamiast ręcznie ustalać liczbę epochów, najczęściej stosuje się Early Stopping – algorytm automatycznie zatrzymuje trening, gdy jakość modelu na zbiorze walidacyjnym przestaje się poprawiać.

Typowe wartości liczby epochów

• Małe modele / proste zadania: 10–50 epochów
• Duże modele (LLM, Vision): często 1–10 epochów (przy ogromnych zbiorach danych)
• Fine-tuning modeli: zwykle 1–5 epochów
• Pre-training od zera: dziesiątki lub setki epochów