Wprowadzenie
Bias-Variance Tradeoff (kompromis między biasem a wariancją) to jedno z najważniejszych pojęć w uczeniu maszynowym. Opisuje ono, dlaczego niemożliwe jest stworzenie modelu, który jednocześnie ma niski bias i niską wariancję.
Definicje
- Bias (błąd systematyczny) – błąd wynikający z uproszczenia modelu. Wysoki bias = model zbyt prosty (underfitting)
- Variance (wariancja) – błąd wynikający z nadmiernego dopasowania do danych treningowych. Wysoka wariancja = overfitting
Matematyczny rozkład błędu
Total Error = Bias² + Variance + Irreducible Error
Irreducible Error (błąd nieredukowalny) wynika z szumu w danych i nie da się go wyeliminować.
Tradeoff w praktyce
- Zbyt prosty model (np. regresja liniowa) → wysoki bias, niska wariancja
- Zbyt złożony model (np. głębokie drzewo bez regularyzacji) → niski bias, wysoka wariancja
- Optymalny model – punkt kompromisu, w którym suma błędu jest najmniejsza
Jak zarządzać tradeoffem?
- Zwiększanie złożoności modelu → zmniejsza bias, zwiększa wariancję
- Regularizacja (L1, L2, Dropout, Early Stopping) → zmniejsza wariancję
- Więcej danych treningowych → zmniejsza wariancję
- Ensemble methods (Random Forest, Boosting) → dobry kompromis
- Cross-validation – pomaga znaleźć optymalny punkt
Aktualny status (2026)
Bias-Variance Tradeoff nadal jest fundamentalnym pojęciem, nawet w erze ogromnych modeli językowych (LLM). Modele zbyt małe mają wysoki bias, modele zbyt duże – wysoką wariancję i skłonność do halucynacji. Nowoczesne techniki (LoRA, RLHF, ensembling, scaling laws) są właśnie narzędziami do lepszego zarządzania tym kompromisem.