ABCDEFGHIJKLMNOPQRSTUVWXYZ

S

← S

Self-Distillation

Wprowadzenie

Self-Distillation (samodestylacja) — To technika kompresji i optymalizacji modeli uczenia maszynowego, w której jeden model, często większy i bardziej złożony, jest wykorzystywany do generowania miękkich etykiet (soft labels) dla danych treningowych. Te miękkie etykiety, zawierające więcej informacji niż tradycyjne twarde etykiety (hard labels), służą następnie do trenowania tego samego modelu lub jego mniejszej, zredukowanej wersji. Celem jest zazwyczaj poprawa wydajności mniejszego modelu lub zwiększenie ogólnej efektywności oryginalnego modelu poprzez ustandaryzowany proces uczenia. Podejście to pozwala modelowi na naukę z własnych wniosków, co może prowadzić do stabilniejszego i bardziej uogólnionego procesu uczenia. W odróżnieniu od klasycznej destylacji wiedzy, gdzie "nauczyciel" i "uczeń" są zazwyczaj różnymi modelami, w samodestylacji model sam jest swoim nauczycielem, wykorzystując różne etapy treningu lub różne instancje samego siebie do przekazywania wiedzy.

Jak działają Self-Distillation?

Proces samodestylacji zazwyczaj rozpoczyna się od wytrenowania początkowego, często większego i bardziej złożonego modelu (zwanego modelem nauczyciela lub generatorem etykiet) na danych treningowych z użyciem standardowych twardych etykiet. Model ten, po osiągnięciu pewnej wydajności, jest następnie wykorzystywany do przewidywania "miękkich etykiet" dla tych samych danych treningowych. Miękkie etykiety to rozkłady prawdopodobieństwa klas wyjściowych, które niosą więcej informacji niż pojedyncza kategoria (twarda etykieta), wskazując pewność modelu co do przynależności do różnych klas. W kolejnym etapie, ten sam model lub jego lżejsza wersja (model ucznia) jest ponownie trenowana na oryginalnych danych wejściowych, ale tym razem z wykorzystaniem generowanych miękkich etykiet. Proces uczenia polega na minimalizacji różnicy między przewidywaniami modelu ucznia a miękkimi etykietami pochodzącymi od modelu nauczyciela. Często stosuje się funkcję straty opartą na dywergencji Kullbacka-Leiblera (KL divergence), która mierzy różnicę między dwoma rozkładami prawdopodobieństwa. Możliwe są różne warianty samodestylacji. W jednej z nich, model nauczyciela i model ucznia to ten sam model, ale trenowany w dwóch fazach: najpierw z twardymi etykietami, potem z miękkimi etykietami generowanymi przez samego siebie. Inna odmiana może polegać na uczeniu studenta przez nauczyciela, gdzie nauczyciel jest po prostu wcześniejszą wersją studenta (np. z wcześniejszej epoki treningu) lub wersją o innej architekturze. Celem jest wykorzystanie bogatszej informacji zawartej w miękkich etykietach do poprawy generalizacji, stabilności i wydajności modelu.

Główne zalety i charakterystyka

Jedną z kluczowych zalet samodestylacji jest możliwość poprawy wydajności modelu bez konieczności pozyskiwania dodatkowych danych czy angażowania zewnętrznych, bardziej złożonych modeli nauczycielskich. Dzięki wykorzystaniu miękkich etykiet, model uczący się zyskuje dostęp do bardziej szczegółowych informacji o niepewności i relacjach między klasami, co jest niemożliwe przy tradycyjnym uczeniu z twardymi etykietami. Prowadzi to często do lepszej generalizacji i zwiększenia odporności na szum w danych treningowych. Ponadto, samodestylacja jest szczególnie użyteczna w scenariuszach, gdzie zależy nam na stworzeniu mniejszego, bardziej efektywnego modelu, który zachowuje wysoką dokładność dużego modelu. Może to znacznie przyspieszyć wnioskowanie i zmniejszyć zapotrzebowanie na zasoby obliczeniowe, co jest kluczowe w aplikacjach działających na urządzeniach brzegowych (edge devices) lub w środowiskach o ograniczonych zasobach. Może również pomóc w regularizacji modelu, zmniejszając ryzyko przeuczenia.

Zastosowania w praktyce

  • Rozpoznawanie obrazów: Kompresja dużych modeli sieci neuronowych (np. ResNet, EfficientNet) do zastosowań na urządzeniach mobilnych lub w systemach wizji maszynowej w czasie rzeczywistym.
  • Przetwarzanie języka naturalnego (NLP): Redukcja rozmiaru modeli językowych (np. BERT, GPT) do szybszego wnioskowania w aplikacjach takich jak chatboty, tłumaczenie maszynowe czy analiza sentymentu.
  • Medycyna: Optymalizacja modeli diagnostycznych AI do szybkiej analizy obrazów medycznych (np. MRI, RTG) w warunkach klinicznych, gdzie szybkość i efektywność są kluczowe.
  • Systemy rekomendacyjne: Tworzenie lżejszych modeli do generowania rekomendacji produktowych w e-commerce, co pozwala na szybsze reagowanie na zmiany w preferencjach użytkowników.
  • Autonomiczne pojazdy: Kompresja modeli percepcji do szybkiego przetwarzania danych sensorycznych z kamer i lidarów, umożliwiając podejmowanie decyzji w ułamku sekundy.

Porównanie z innymi strukturami danych

Samodestylacja jest ściśle związana z destylacją wiedzy (Knowledge Distillation), ale różni się od niej modelem nauczyciela. W klasycznej destylacji wiedzy, zazwyczaj mamy dwa różne modele: duży, złożony model nauczyciela, który jest już wytrenowany i osiąga wysoką wydajność, oraz mniejszy, prostszy model ucznia, który ma się od niego uczyć. Nauczyciel i uczeń są tutaj odrębnymi bytami. W samodestylacji natomiast, model nauczyciela i model ucznia to często ten sam model, trenowany w różnych fazach lub iteracjach. Czasami model "nauczyciela" jest po prostu wcześniejszą wersją modelu "ucznia" (np. z poprzedniej epoki treningowej) lub jego bardziej złożoną instancją. Kluczowa różnica polega na tym, że samodestylacja nie wymaga zewnętrznego, wstępnie wytrenowanego, większego modelu nauczyciela, co upraszcza proces i może być korzystne, gdy taki model nie jest dostępny lub jego trenowanie jest zbyt kosztowne. Obydwie metody wykorzystują miękkie etykiety do przekazywania wiedzy, co pozwala na uchwycenie subtelnych relacji między klasami, znacznie bogatszych niż te dostępne z twardych etykiet.

Najlepsze praktyki (2026)

  • Faza wstępna: Najpierw wytrenuj model bazowy (nauczyciela) z tradycyjnymi twardymi etykietami, aż osiągnie satysfakcjonującą wydajność.
  • Generowanie miękkich etykiet: Użyj wytrenowanego modelu nauczyciela do generowania miękkich etykiet (rozkładów prawdopodobieństwa) dla całego zestawu danych treningowych.
  • Regulacja temperatury: Przy generowaniu miękkich etykiet, często stosuje się parametr "temperatury" (temperature scaling) w funkcji softmax, aby wygładzić rozkłady prawdopodobieństwa. Wyższa temperatura sprawia, że rozkłady są bardziej "miękkie", co może pomóc w przekazywaniu większej ilości informacji.
  • Trening ucznia: Trenuj ten sam model (teraz jako uczeń) ponownie, używając kombinacji funkcji straty z miękkimi etykietami (np. KL divergence) i opcjonalnie z twardymi etykietami (cross-entropy), z odpowiednim ważeniem tych strat.
  • Iteracyjna samodestylacja: Możliwe jest powtarzanie procesu w wielu iteracjach, gdzie model uczony w poprzedniej iteracji staje się nauczycielem dla kolejnej, co może prowadzić do dalszej poprawy.
  • Architektura ucznia: W przypadku, gdy celem jest kompresja, model ucznia może być lżejszą wersją architektonicznie modelu nauczyciela, np. z mniejszą liczbą warstw lub neuronów.

Typowe błędy i pułapki

  • Zbyt niska temperatura: Używanie zbyt niskiej temperatury w funkcji softmax przy generowaniu miękkich etykiet sprawi, że rozkłady będą bardzo "ostre" (zbliżone do twardych etykiet), co ograniczy ilość przekazywanej wiedzy i potencjalne korzyści z destylacji.
  • Niedostatecznie wytrenowany nauczyciel: Jeśli model nauczyciela nie jest odpowiednio wytrenowany i ma niską dokładność, jego "wiedza" (miękkie etykiety) będzie niska i może negatywnie wpłynąć na trening ucznia.
  • Brak balansu strat: Nieodpowiednie ważenie funkcji straty opartej na miękkich etykietach i ewentualnie na twardych etykietach (jeśli są używane jednocześnie) może prowadzić do niestabilnego treningu lub nieoptymalnych wyników.
  • Nieodpowiednia architektura ucznia: W przypadku kompresji, jeśli architektura modelu ucznia jest zbyt mała lub zbyt różna od nauczyciela, może nie być w stanie przyswoić całej przekazywanej wiedzy, co ograniczy jego potencjalną wydajność.
  • Brak walidacji: Zaniedbanie odpowiedniej walidacji na niezależnym zbiorze danych podczas i po procesie samodestylacji może prowadzić do błędnych wniosków na temat rzeczywistej poprawy wydajności modelu.