Wprowadzenie
Logistic Regression (regresja logistyczna) to jeden z najstarszych, najprostszych i najbardziej interpretowalnych algorytmów uczenia maszynowego. Mimo swojej prostoty jest niezwykle popularna i często stanowi punkt wyjścia przy problemach klasyfikacji binarnej.
Jak działa Regresja Logistyczna?
Algorytm przekształca liniową kombinację cech za pomocą funkcji logistycznej (sigmoid), aby otrzymać prawdopodobieństwo przynależności do klasy pozytywnej.
P(y=1|X) = σ(z) = 1 / (1 + e-z)
gdzie z = β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ
Funkcja sigmoid
Funkcja sigmoid (logistyczna) mapuje dowolną wartość rzeczywistą na przedział (0, 1), co idealnie nadaje się do interpretacji jako prawdopodobieństwo.
Trening modelu
Model jest trenowany za pomocą metody maksymalizacji prawdopodobieństwa (Maximum Likelihood Estimation) lub minimalizacji funkcji straty – najczęściej Binary Cross-Entropy (Log Loss).
Zalety Logistic Regression
- Bardzo szybka w treningu i predykcji
- Wysoka interpretowalność (współczynniki β pokazują wpływ cech)
- Niskie ryzyko overfittingu przy małej liczbie cech
- Działa dobrze jako model bazowy (baseline)
- Możliwość regularyzacji (L1, L2)
Ograniczenia
- Zakłada liniową separowalność klas (po transformacji logit)
- Słabo radzi sobie z nieliniowymi zależnościami (chyba że dodamy feature engineering)
- Czuła na wartości odstające i współliniowość cech
- Ograniczona do klasyfikacji binarnej (lub wielo-klasowej w wersji multinomial)
Zastosowania
- Wykrywanie spamu
- Prognozowanie churnu klientów
- Diagnostyka medyczna (np. ryzyko choroby)
- Scoring kredytowy
- Klasyfikacja sentymentu
- Kliknięcia w reklamach (CTR prediction)
Aktualny status (2026)
Mimo rozwoju zaawansowanych modeli (XGBoost, sieci neuronowe, Transformery), Regresja Logistyczna nadal jest szeroko używana w przemyśle. Jest standardowym narzędziem w bankowości, medycynie i marketingu, gdzie interpretowalność modelu jest kluczowa (np. ze względu na regulacje). Często służy jako mocny baseline do porównań z bardziej złożonymi algorytmami.