Wprowadzenie
Dystrybucja kategoryczna, znana również jako rozkład kategoryczny, jest fundamentalnym rozkładem prawdopodobieństwa w teorii statystyki i uczenia maszynowego. Opisuje ona prawdopodobieństwo wystąpienia jednego z kilku możliwych, wzajemnie wykluczających się wyników w pojedynczej próbie, gdzie każdy wynik ma przypisane określone prawdopodobieństwo. Jest to uogólnienie rozkładu Bernoulliego, który dotyczy tylko dwóch możliwych wyników (sukces/porażka), na dowolną skończoną liczbę kategorii. W kontekście sztucznej inteligencji, dystrybucja kategoryczna jest niezwykle ważna do modelowania zmiennych nominalnych, czyli takich, które przyjmują wartości z ustalonego zbioru kategorii bez naturalnego porządku. Przykłady obejmują kolor oczu, typ zwierzęcia, płeć czy wynik klasyfikacji na jedno z wielu klas.
Jak działają Dystrybucje kategoryczne?
Dystrybucja kategoryczna działa poprzez przypisanie prawdopodobieństwa każdemu z dostępnych stanów lub kategorii. Suma tych prawdopodobieństw musi wynosić jeden. Parametrem tego rozkładu jest wektor prawdopodobieństw, gdzie każdy element wektora reprezentuje prawdopodobieństwo przypisane konkretnej kategorii. Na przykład, jeśli mamy trzy kategorie A, B, C, to parametry mogą wyglądać jako [P(A), P(B), P(C)], gdzie P(A) + P(B) + P(C) = 1. Wyobraźmy sobie rzut sześcienną kostką do gry. Wyniki to liczby od 1 do 6. Każda liczba jest kategorią. Jeśli kostka jest sprawiedliwa, prawdopodobieństwo wyrzucenia każdej liczby wynosi 1/6. Wektor prawdopodobieństw to [1/6, 1/6, 1/6, 1/6, 1/6, 1/6]. Gdyby kostka była obciążona, na przykład faworyzowała wyrzucenie szóstki, wektor mógłby wyglądać inaczej, np. [0.1, 0.1, 0.1, 0.1, 0.1, 0.5], pod warunkiem, że suma nadal wynosi 1. Dystrybucja kategoryczna pozwala nam modelować takie sytuacje, gdzie obserwujemy pojedynczy wynik z ustalonego zbioru możliwości.
Główne zalety i charakterystyka
Główną zaletą dystrybucji kategorycznej jest jej prostota i intuicyjność w modelowaniu zmiennych dyskretnych o skończonej liczbie wyników. Pozwala ona na bezpośrednie przypisanie wag prawdopodobieństwa do każdej z dostępnych kategorii, co ułatwia analizę i przewidywanie w systemach, gdzie dane mają charakter nominalny. Jest elastyczna i może reprezentować zarówno rozkłady równomierne, jak i te, w których pewne kategorie są znacznie bardziej prawdopodobne niż inne.
Zastosowania w praktyce
- Modelowanie wyników klasyfikacji wieloklasowej w uczeniu maszynowym, np. czy obraz przedstawia kota, psa czy ptaka.
- Przewidywanie następnego słowa w sekwencji tekstu w modelach językowych NLP, gdzie każde słowo to kategoria.
- Reprezentowanie rozkładu cech genetycznych w populacji, np. grup krwi.
- Modelowanie preferencji użytkowników w systemach rekomendacyjnych, gdzie użytkownik wybiera jedną z wielu opcji.
- Analiza wyników sondaży opinii publicznej, gdzie ankietowany wybiera jedną z predefiniowanych odpowiedzi.
Porównanie z innymi strukturami danych
Dystrybucja kategoryczna jest często mylona lub porównywana z innymi rozkładami. Jest bezpośrednim uogólnieniem rozkładu Bernoulliego, który modeluje eksperyment z dwoma tylko możliwymi wynikami (np. sukces lub porażka). Kiedy mamy więcej niż dwa wyniki, rozkład kategoryczny staje się odpowiednim narzędziem. Różni się od rozkładu wielomianowego (multinomial distribution), który opisuje prawdopodobieństwo uzyskania określonej liczby wystąpień każdej kategorii w serii wielu niezależnych prób. Dystrybucja kategoryczna dotyczy natomiast pojedynczej próby. Innymi słowy, jedna próba z dystrybucji wielomianowej składa się z wielu prób z dystrybucji kategorycznej.
Najlepsze praktyki (2026)
- Używanie kodowania One-Hot (gorącojedynkowego) do reprezentowania zmiennych kategorycznych jako wektorów binarnych, co jest zgodne z założeniami dystrybucji kategorycznej.
- Estymowanie parametrów rozkładu (prawdopodobieństw dla każdej kategorii) na podstawie częstości występowania kategorii w zbiorze danych treningowych.
- Stosowanie funkcji aktywacji Softmax w końcowej warstwie sieci neuronowych do uzyskania prawdopodobieństw dla klas wyjściowych, które sumują się do jedności, skutecznie modelując dystrybucję kategoryczną.
- Wykorzystywanie dystrybucji Dirichleta jako rozkładu apriori dla parametrów dystrybucji kategorycznej w kontekście modelowania bayesowskiego.
Typowe błędy i pułapki
- Zakładanie, że kategorie mają inherentny porządek, podczas gdy dystrybucja kategoryczna zakłada ich niezależność i brak uporządkowania.
- Nieprawidłowe normalizowanie prawdopodobieństw, co skutkuje ich sumą inną niż jeden, prowadząc do błędnych wniosków.
- Mylenie dystrybucji kategorycznej z rozkładem wielomianowym, zwłaszcza w kontekście modelowania wielu prób zamiast pojedynczej.
- Próba zastosowania dystrybucji kategorycznej do zmiennych ciągłych lub o bardzo dużej, nieskończonej liczbie kategorii.