Wprowadzenie
Zaawansowane funkcje straty to kluczowy element treningu nowoczesnych modeli AI. Odpowiedni wybór loss function może dramatycznie poprawić jakość modelu, zwłaszcza w sytuacjach niezbalansowanych klas, uczeniu generatywnym, uczeniu kontrastywnym czy optymalizacji preferencji.
Najważniejsze Zaawansowane Loss Functions
- Focal Loss – redukuje wpływ łatwych przykładów, skupia się na trudnych (klasyfikacja niezbalansowana)
- Dice Loss / IoU Loss / Tversky Loss – używane w segmentacji obrazów (medycznej szczególnie)
- Contrastive Loss (InfoNCE, NT-Xent) – podstawa Contrastive Learning (SimCLR, CLIP)
- Triplet Loss – uczy embeddings tak, aby podobne przykłady były bliżej niż negatywne
- Supervised Contrastive Loss – ulepszona wersja Contrastive Loss z etykietami
- Perceptual Loss (LPIPS) – porównuje cechy na poziomie głębokich warstw (stylizacja, super-resolution)
- KL Divergence / JS Divergence – regularyzacja rozkładów (VAE, Knowledge Distillation)
- DPO Loss (Direct Preference Optimization) – używany w alignment LLM-ów zamiast RLHF
- ORPO Loss – łączy SFT i alignment w jednej funkcji straty
- ArcFace / CosFace Loss – zaawansowane lossy do rozpoznawania twarzy
Porównanie kontekstów użycia
- Segmentacja medyczna → Dice Loss + Focal Loss
- Embeddingi / Retrieval → Contrastive / Triplet / ArcFace
- Generowanie obrazów → Perceptual Loss + Adversarial Loss
- LLM Alignment → DPO, KTO, ORPO
- Klasyfikacja niezbalansowana → Focal Loss
Zalety stosowania zaawansowanych lossów
- Lepsza zbieżność i stabilność treningu
- Znaczna poprawa metryk w trudnych zadaniach
- Lepsza separacja klas w przestrzeni latentnej
- Możliwość trenowania na niezbalansowanych danych
- Bardziej ludzkie zachowanie modelu (w przypadku DPO/ORPO)
Najlepsze praktyki (2026)
- Łącz wiele lossów (multi-task loss) z odpowiednimi wagami
- W LLM alignment preferuj DPO/ORPO zamiast klasycznego RLHF
- W uczeniu kontrastywnym używaj dużych batchy + hard negative mining
- Zawsze monitoruj rozkład wartości lossu podczas treningu
- Testuj różne schedulery lossów (np. curriculum learning)