Loss Functions (Zaawansowane)

Wprowadzenie

Zaawansowane funkcje straty to kluczowy element treningu nowoczesnych modeli AI. Odpowiedni wybór loss function może dramatycznie poprawić jakość modelu, zwłaszcza w sytuacjach niezbalansowanych klas, uczeniu generatywnym, uczeniu kontrastywnym czy optymalizacji preferencji.

Najważniejsze Zaawansowane Loss Functions

• Focal Loss – redukuje wpływ łatwych przykładów, skupia się na trudnych (klasyfikacja niezbalansowana)
• Dice Loss / IoU Loss / Tversky Loss – używane w segmentacji obrazów (medycznej szczególnie)
• Contrastive Loss (InfoNCE, NT-Xent) – podstawa Contrastive Learning (SimCLR, CLIP)
• Triplet Loss – uczy embeddings tak, aby podobne przykłady były bliżej niż negatywne
• Supervised Contrastive Loss – ulepszona wersja Contrastive Loss z etykietami
• Perceptual Loss (LPIPS) – porównuje cechy na poziomie głębokich warstw (stylizacja, super-resolution)
• KL Divergence / JS Divergence – regularyzacja rozkładów (VAE, Knowledge Distillation)
• DPO Loss (Direct Preference Optimization) – używany w alignment LLM-ów zamiast RLHF
• ORPO Loss – łączy SFT i alignment w jednej funkcji straty
• ArcFace / CosFace Loss – zaawansowane lossy do rozpoznawania twarzy

Porównanie kontekstów użycia

• Segmentacja medyczna → Dice Loss + Focal Loss
• Embeddingi / Retrieval → Contrastive / Triplet / ArcFace
• Generowanie obrazów → Perceptual Loss + Adversarial Loss
• LLM Alignment → DPO, KTO, ORPO
• Klasyfikacja niezbalansowana → Focal Loss

Zalety stosowania zaawansowanych lossów

• Lepsza zbieżność i stabilność treningu
• Znaczna poprawa metryk w trudnych zadaniach
• Lepsza separacja klas w przestrzeni latentnej
• Możliwość trenowania na niezbalansowanych danych
• Bardziej ludzkie zachowanie modelu (w przypadku DPO/ORPO)

Najlepsze praktyki (2026)

• Łącz wiele lossów (multi-task loss) z odpowiednimi wagami
• W LLM alignment preferuj DPO/ORPO zamiast klasycznego RLHF
• W uczeniu kontrastywnym używaj dużych batchy + hard negative mining
• Zawsze monitoruj rozkład wartości lossu podczas treningu
• Testuj różne schedulery lossów (np. curriculum learning)