Hyperparameter Tuning

Wprowadzenie

Hyperparameter Tuning (Dostrojenie hiperparametrów) to proces wyszukiwania najlepszych wartości hiperparametrów modelu uczenia maszynowego. Hiperparametry to parametry ustawiane przed treningiem (np. learning rate, liczba warstw, batch size), które nie są uczone przez algorytm, ale mocno wpływają na jakość finalnego modelu.

Hiperparametry vs Parametry modelu

• Parametry – uczone podczas treningu (wagi neuronów)
• Hiperparametry – ustawiane ręcznie lub automatycznie przed treningiem

Najpopularniejsze metody Hyperparameter Tuning

• Grid Search – pełna siatka kombinacji (bardzo dokładna, ale wolna)
• Random Search – losowe próbkowanie (często lepsza niż Grid przy dużym budżecie)
• Bayesian Optimization – inteligentne przeszukiwanie (najefektywniejsze)
• Hyperband / Successive Halving – wczesne zatrzymywanie słabych konfiguracji
• Population-Based Training (PBT) – ewolucyjne dostrajanie
• Neural Architecture Search (NAS) – automatyczne projektowanie architektury

Najważniejsze hiperparametry do tuningu

• Learning Rate i Scheduler
• Batch Size
• Liczba warstw / neuronów / attention heads
• Dropout Rate, Weight Decay
• Optimizer (AdamW, Lion, Sophia)
• Epochs + Early Stopping
• LoRA Rank, Alpha, Dropout (przy fine-tuningu LLM)

Narzędzia do Hyperparameter Tuning (2026)

• Optuna – najpopularniejsze open-source
• Weights & Biases Sweeps
• Hyperopt i Ray Tune
• MLflow + Hyperparameter Tracking
• Kubernetes + Katib (dla dużych klastrów)
• Hugging Face + Accelerate

Hyperparameter Tuning w dużych modelach językowych

Przy trenowaniu i fine-tuningu LLM (Llama, Mistral, Grok) tuning obejmuje m.in.:

• Learning Rate Warmup + Cosine Decay
• LoRA / QLoRA hyperparameters
• RLHF / DPO hyperparameters (beta, learning rate dla reward model)
• Context Length i Sequence Packing

Powiązane pojęcia