Wprowadzenie
Distributional Conformal Prediction (DCP), czyli Predykcja Konformalna Dystrybucyjna, to zaawansowane rozszerzenie klasycznej Predykcji Konformalnej, skupiające się na kwantyfikacji niepewności nie tylko dla pojedynczych wartości, lecz dla całych rozkładów prawdopodobieństwa. Tradycyjne metody predykcji konformalnej generują przedziały ufności dla wartości punktowych lub zbiory klas dla klasyfikacji. DCP idzie o krok dalej, konstruując zbiór rozkładów prawdopodobieństwa, który z zadanym poziomem ufności zawiera prawdziwy, nieznany rozkład warunkowy danych. Technika ta jest szczególnie przydatna w scenariuszach, gdzie niepewność ma złożony charakter, na przykład gdy przewidywany rozkład jest multimodalny lub jego kształt jest kluczowy dla podejmowania decyzji. Pozwala na uzyskanie znacznie bogatszego obrazu niepewności niż standardowe przedziały predykcyjne, co znajduje zastosowanie w wielu dziedzinach, od finansów po medycynę i prognozowanie klimatyczne.
Jak działają Predykcja konformalna dystrybucyjna?
Jak działają Predykcje konformalne dystrybucyjne? Proces rozpoczyna się od zastosowania modelu bazowego (np. sieci neuronowej, regresji kwantylowej), który jest w stanie estymować parametry rozkładu prawdopodobieństwa dla danych wyjściowych, a nie tylko pojedynczą wartość. Może to być model, który przewiduje średnią i wariancję rozkładu normalnego, albo bardziej złożony model generujący kwantyle rozkładu. Następnie, podobnie jak w klasycznej predykcji konformalnej, dane dzielone są na zbiór treningowy i kalibracyjny. Na zbiorze kalibracyjnym, dla każdego punktu danych, oblicza się tzw. 'wynik niezgodności' (nonconformity score). W przypadku DCP, ten wynik mierzy, jak dobrze estymowany rozkład (wygenerowany przez model) pasuje do rzeczywistej obserwacji dla danego punktu. Może to być na przykład log-prawdopodobieństwo obserwacji w estymowanym rozkładzie, odległość Kwantyl-Kwantyl (QQ-plot distance), lub inne miary odległości między rozkładami. Wyniki niezgodności ze zbioru kalibracyjnego są następnie używane do wyznaczenia progu, zazwyczaj poprzez obliczenie odpowiedniego percentyla. Dla nowego, niewidzianego punktu danych, model generuje potencjalne rozkłady. Zbiór predykcyjny dla tego punktu będzie składał się ze wszystkich rozkładów (lub ich parametrów), które, po weryfikacji z danymi kalibracyjnymi, miałyby wynik niezgodności poniżej ustalonego progu. Dzięki temu, zbiór ten zawiera prawdziwy rozkład warunkowy z zadanym poziomem ufności, zachowując gwarancje pokrycia bez konieczności zakładania konkretnej postaci rozkładu.
Główne zalety i charakterystyka
Główną zaletą Distributional Conformal Prediction jest możliwość uzyskania znacznie bardziej szczegółowego i kompleksowego obrazu niepewności w przewidywaniach. Zamiast prostego przedziału, użytkownik otrzymuje zestaw możliwych rozkładów, co jest niezwykle cenne w przypadku złożonych zjawisk, gdzie prawdziwy rozkład może być multimodalny, asymetryczny lub mieć ciężkie ogony. Technika ta dostarcza gwarancji pokrycia, co oznacza, że z zadanym poziomem ufności, prawdziwy rozkład danych będzie zawarty w wygenerowanym zbiorze rozkładów, niezależnie od bazowego modelu. DCP jest także odporna na błędne specyfikacje modelu bazowego, co stanowi jej przewagę nad metodami bayesowskimi, które mocno polegają na poprawności przyjętych założeń rozkładowych. Dzięki temu, nawet jeśli model bazowy nie jest idealny, nadal można uzyskać wiarygodne szacowanie niepewności w postaci rozkładów.
Zastosowania w praktyce
- Prognozowanie szeregów czasowych: Przewidywanie całego rozkładu przyszłych cen akcji, wolumenu sprzedaży czy obciążenia sieci energetycznej, a nie tylko pojedynczych wartości.
- Medycyna: Określanie rozkładu odpowiedzi pacjentów na leczenie, co pozwala na bardziej spersonalizowane i bezpieczne dawkowanie leków, uwzględniając różne reakcje organizmu.
- Prognozowanie pogody i klimatu: Modelowanie rozkładu możliwych temperatur, opadów lub prędkości wiatru, co jest kluczowe dla planowania i reagowania na ekstremalne zjawiska.
- Finanse: Ocena ryzyka kredytowego poprzez przewidywanie rozkładu prawdopodobieństwa niewypłacalności klientów lub rozkładu przyszłych strat z inwestycji.
- Robotyka: Kwantyfikacja niepewności położenia i ruchu robotów, zwłaszcza w środowiskach niepewnych, gdzie rozkłady mogą być złożone, co zwiększa bezpieczeństwo i precyzję działania.
Porównanie z innymi strukturami danych
W odróżnieniu od standardowej predykcji konformalnej, która koncentruje się na budowaniu przedziałów dla pojedynczych punktów danych (np. wartości numerycznej w regresji lub klasy w klasyfikacji), Predykcja Konformalna Dystrybucyjna generuje zbiory całych rozkładów prawdopodobieństwa. Oznacza to, że zamiast odpowiedzi typu 'cena będzie między 100 a 120', otrzymujemy zbiór możliwych rozkładów, z których każdy opisuje prawdopodobieństwo, że cena przyjmie różne wartości, z uwzględnieniem np. szansy na skrajne wydarzenia. Porównując z metodami bayesowskimi, które również dostarczają rozkładów, DCP oferuje gwarancje pokrycia, które nie zależą od poprawności założeń modelowych. Metody bayesowskie wymagają precyzyjnego zdefiniowania rozkładów a priori i likelihood, a ich wyniki są wrażliwe na te założenia. DCP jest bardziej odporne, opierając się na wymienności danych, co czyni ją bardziej uniwersalnym narzędziem do kwantyfikacji niepewności.
Najlepsze praktyki (2026)
- Wybór odpowiedniego modelu bazowego: Należy używać modeli, które są naturalnie przystosowane do generowania rozkładów, takich jak modele bayesowskie, modele regresji kwantylowej lub głębokie modele dystrybucyjne (Deep Distributional Models).
- Definiowanie funkcji niezgodności: Wybór funkcji mierzącej, jak dobrze estymowany rozkład pasuje do obserwacji jest kluczowy. Można wykorzystać metryki oparte na funkcji dystrybucji (np. sup-normę różnicy), odległości między rozkładami (np. Wasserstein), albo funkcje związane z kwantylami.
- Odpowiedni rozmiar zbioru kalibracyjnego: Zbiór kalibracyjny powinien być wystarczająco duży i reprezentatywny, aby stabilnie oszacować próg niezgodności. Zbyt mały zbiór może prowadzić do szerokich lub niestabilnych zbiorów predykcyjnych.
- Wizualizacja i interpretacja zbiorów rozkładów: Ponieważ wynik jest zbiorem rozkładów, ważne jest opracowanie metod ich efektywnej wizualizacji i interpretacji, na przykład poprzez prezentowanie median, kwantyli lub typowych kształtów rozkładów z tego zbioru.
Typowe błędy i pułapki
- Użycie modelu bazowego niezdolnego do generowania złożonych rozkładów: Ograniczanie modelu do przewidywania tylko jednego typu rozkładu (np. zawsze normalnego) może prowadzić do nieadekwatnej reprezentacji prawdziwej niepewności.
- Niewłaściwa funkcja niezgodności: Zastosowanie miary niezgodności, która nie odzwierciedla istotnych cech rozkładu (np. ignorowanie multimodalności), może skutkować nieefektywnymi lub błędnymi zbiorami predykcyjnymi.
- Ignorowanie założeń wymienności danych: DCP, podobnie jak inne metody predykcji konformalnej, zakłada wymienność danych. Jeśli dane nie są iid (niezależne i identycznie rozłożone), gwarancje pokrycia mogą nie być spełnione.
- Niewystarczająca liczba danych kalibracyjnych: Zbyt mały zbiór kalibracyjny prowadzi do niestabilnych i niereprezentatywnych progów, co obniża wiarygodność gwarancji pokrycia.
- Zbyt skomplikowane lub nieinterpretowalne zbiory rozkładów: Jeśli wygenerowane zbiory rozkładów są zbyt obszerne lub niejasne, ich praktyczne zastosowanie i interpretacja mogą być utrudnione.