Deep Policy Network w Reinforcement Learning | Encyklopedia AI

Wprowadzenie

Deep Policy Network (DPN), czyli głębokie sieci decyzyjne, to fundamentalne podejście w dziedzinie uczenia ze wzmocnieniem (Reinforcement Learning - RL), które łączy potęgę głębokich sieci neuronowych z algorytmami sterowania opartymi na polityce. Głównym celem DPN jest nauka optymalnej strategii działania, zwanej polityką, która dyktuje agentowi, jakie akcje powinien podjąć w danej sytuacji, aby maksymalizować długoterminową nagrodę. Dzięki zastosowaniu głębokich sieci neuronowych, DPN są zdolne do radzenia sobie ze złożonymi, wysokowymiarowymi przestrzeniami stanów i akcji, co było wyzwaniem dla tradycyjnych metod RL. Koncepcja Deep Policy Network leży u podstaw wielu przełomów w uczeniu ze wzmocnieniem, umożliwiając tworzenie agentów, którzy potrafią efektywnie działać w dynamicznych środowiskach. Od sterowania robotami, przez gry komputerowe, aż po autonomiczne pojazdy, DPN dostarczają ramy do uczenia się złożonych zachowań bezpośrednio z danych doświadczeń. Polityka w DPN jest reprezentowana przez sieć neuronową, która na wejściu przyjmuje obserwację stanu środowiska, a na wyjściu generuje prawdopodobieństwo wyboru poszczególnych akcji lub bezpośrednie wartości akcji.

Jak działają Głębokie sieci decyzyjne (Deep Policy Network)?

Głębokie sieci decyzyjne działają poprzez modelowanie polityki, czyli strategii podejmowania decyzji, za pomocą głębokiej sieci neuronowej. Polityka definiuje mapowanie ze stanu środowiska do rozkładu prawdopodobieństwa na akcje. Na przykład, w grze wideo, sieć na wejściu otrzymuje obraz ekranu (stan), a na wyjściu proponuje akcję, taką jak ruch w lewo, w prawo, skok czy strzał, z określonym prawdopodobieństwem. W przypadku ciągłych przestrzeni akcji, sieć może wygenerować parametry rozkładu prawdopodobieństwa (np. średnią i odchylenie standardowe dla rozkładu normalnego), z którego następnie próbkowane są konkretne akcje. Proces uczenia DPN polega na iteracyjnej aktualizacji wag sieci neuronowej w taki sposób, aby preferowała akcje, które prowadzą do większych kumulatywnych nagród. Algorytmy takie jak REINFORCE, Actor-Critic (np. A2C, A3C) czy Trust Region Policy Optimization (TRPO) i Proximal Policy Optimization (PPO) są często wykorzystywane do optymalizacji tych sieci. Zamiast uczyć się funkcji wartości stanu (jak w przypadku DQN), która ocenia dobroć stanu, DPN bezpośrednio uczą się, jak działać. Uczenie odbywa się poprzez zbieranie doświadczeń (stan, akcja, nagroda, kolejny stan) podczas interakcji agenta ze środowiskiem. Następnie, na podstawie tych doświadczeń, obliczany jest gradient funkcji celu (zazwyczaj maksymalizującej oczekiwaną sumę nagród), a wagi sieci są aktualizowane w kierunku, który zwiększa prawdopodobieństwo podjęcia akcji prowadzących do wyższych nagród i zmniejsza prawdopodobieństwo tych prowadzących do niższych. Ten proces powtarza się, stopniowo udoskonalając politykę agenta.

Główne zalety i charakterystyka

Jedną z kluczowych zalet Deep Policy Network jest ich zdolność do bezpośredniego uczenia się strategii w środowiskach o wysokowymiarowych przestrzeniach stanów i akcji, co jest typowe dla problemów z rzeczywistego świata. Dzięki głębokim sieciom neuronowym, DPN mogą efektywnie uczyć się złożonych, nieliniowych relacji między obserwacjami a optymalnymi działaniami. Pozwala to na radzenie sobie z danymi wejściowymi takimi jak surowe piksele obrazów czy dane z sensorów robotów, bez potrzeby ręcznego tworzenia cech. Dodatkowo, DPN naturalnie radzą sobie z ciągłymi przestrzeniami akcji, co jest trudniejsze do osiągnięcia w metodach opartych na wartościach (value-based methods), które zazwyczaj wymagają dyskretyzacji przestrzeni akcji. Umożliwia to agentom precyzyjne sterowanie, na przykład płynne ruchy ramienia robota lub subtelne korekty kierunku jazdy w autonomicznym pojeździe. DPN są również w stanie uczyć się probabilistycznych polityk, co może być korzystne dla eksploracji środowiska i radzenia sobie z niepewnością.

Zastosowania w praktyce

Robotyka: Sterowanie ruchem robotów humanoidalnych, ramion manipulacyjnych oraz dronów w złożonych zadaniach, takich jak chwytanie obiektów, nawigacja czy montaż.
Gry komputerowe: Tworzenie agentów zdolnych do gry na poziomie super-ludzkim w grach strategicznych (np. StarCraft II z AlphaStar) i planszowych (np. Go z AlphaGo), gdzie polityka decyduje o kolejnym ruchu.
Autonomiczne pojazdy: Uczenie się polityk sterowania pojazdami, takich jak przyspieszanie, hamowanie i skręcanie, w celu bezpiecznej i efektywnej jazdy w zmiennych warunkach drogowych.
Zarządzanie zasobami: Optymalizacja alokacji zasobów w systemach sieciowych, centrach danych czy w zarządzaniu portfelem inwestycyjnym.
Opieka zdrowotna: Personalizowane plany leczenia, gdzie polityka decyduje o wyborze terapii na podstawie stanu pacjenta.

Porównanie z innymi strukturami danych

Deep Policy Network fundamentalnie różnią się od metod opartych na wartościach, takich jak Deep Q-Networks (DQN). Podczas gdy DQN uczy się funkcji wartości, która szacuje oczekiwaną sumę nagród dla danej pary stan-akcja, a następnie wyprowadza politykę poprzez wybór akcji o najwyższej wartości, DPN bezpośrednio uczą się samej polityki. Oznacza to, że DPN nie muszą obliczać funkcji wartości, co może uprościć architekturę i proces uczenia w niektórych przypadkach. Kluczową różnicą jest również podejście do przestrzeni akcji. Metody oparte na wartościach, takie jak DQN, najlepiej sprawdzają się w środowiskach o dyskretnych i stosunkowo niewielkich przestrzeniach akcji. DPN, wykorzystując techniki gradientu polityki, są z natury bardziej przystosowane do radzenia sobie z ciągłymi przestrzeniami akcji, ponieważ mogą generować parametry rozkładów prawdopodobieństwa dla akcji ciągłych. W przypadku problemów z ciągłymi akcjami, DPN (lub ich warianty, takie jak architektury aktor-krytyk) są często preferowanym wyborem.

Najlepsze praktyki (2026)

Stabilizacja uczenia: Wykorzystanie algorytmów takich jak PPO (Proximal Policy Optimization) lub TRPO (Trust Region Policy Optimization), które ograniczają wielkość aktualizacji polityki, zapobiegając drastycznym zmianom i destabilizacji procesu uczenia.
Odpowiednia architektura sieci: Dopasowanie głębokości i szerokości sieci neuronowej do złożoności problemu. Dla danych obrazowych często stosuje się sieci konwolucyjne (CNN), a dla danych sekwencyjnych – rekurencyjne (RNN) lub transformery.
Użycie funkcji kary i nagrody: Starannie projektowanie funkcji nagrody, aby poprawnie odzwierciedlała cele agenta i unikała niepożądanych zachowań. Można wprowadzać kary za niechciane zdarzenia.
Balans eksploracji i eksploatacji: Stosowanie technik zachęcających agenta do eksploracji środowiska (np. szumu w przestrzeni akcji, entropii w funkcji celu) przy jednoczesnym eksploatowaniu już poznanych, skutecznych strategii.
Normalizacja danych wejściowych: Normalizacja stanów wejściowych do sieci neuronowej pomaga w stabilizacji uczenia i przyspieszeniu konwergencji.

Typowe błędy i pułapki

Problem zanikających/eksplodujących gradientów: Podobnie jak w przypadku innych głębokich sieci neuronowych, gradienty mogą stać się zbyt małe (zanikające) lub zbyt duże (eksplodujące), co utrudnia efektywne uczenie. Wymaga to technik takich jak obcinanie gradientów lub normalizacja wsadowa.
Niska efektywność próbkowania: DPN często wymagają dużej liczby interakcji ze środowiskiem (próbek) do nauczenia się optymalnej polityki, co może być kosztowne czasowo w złożonych środowiskach.
Niewłaściwa eksploracja: Jeśli agent nie eksploruje środowiska w wystarczającym stopniu, może utknąć w lokalnym optimum i nigdy nie odkryć lepszych strategii działania.
Wrażliwość na hiperparametry: DPN są często wrażliwe na dobór hiperparametrów (np. współczynnik uczenia, współczynnik dyskonta, architektura sieci), co wymaga starannego strojenia.
Błędy w funkcji nagrody: Niewłaściwie zaprojektowana funkcja nagrody może prowadzić do uczenia się polityk, które spełniają cel w sposób nieprzewidziany lub niepożądany (tzw. reward hacking).