Deep Recurrent Q-Network DRQN | Encyklopedia AI

Wprowadzenie

Deep Recurrent Q-Network (DRQN) to zaawansowana architektura uczenia ze wzmocnieniem, stanowiąca rozszerzenie Deep Q-Network (DQN). Głównym celem DRQN jest umożliwienie agentowi uczenia się w środowiskach, w których pełny stan systemu nie jest dostępny w pojedynczej obserwacji. Jest to kluczowe w wielu rzeczywistych zastosowaniach, gdzie agent ma do dyspozycji jedynie częściowe, często zaszumione informacje. DRQN integruje elementy sieci rekurencyjnych, takie jak Long Short-Term Memory (LSTM) lub Gated Recurrent Unit (GRU), z architekturą DQN. Dzięki temu agent zyskuje zdolność do budowania wewnętrznej "pamięci" na podstawie sekwencji poprzednich obserwacji i działań. Pozwala to na podejmowanie bardziej świadomych decyzji, nawet gdy bieżąca percepcja środowiska jest niekompletna.

Jak działają Deep Recurrent Q-Network (DRQN)?

Działanie Deep Recurrent Q-Network opiera się na fundamencie Deep Q-Network, ale rozszerza jego możliwości poprzez wprowadzenie warstwy rekurencyjnej. W standardowym DQN sieć neuronowa mapuje pojedynczy stan (lub obserwację) na wartości Q-funkcji dla wszystkich możliwych akcji. DRQN modyfikuje ten schemat, zastępując jedną z warstw w pełni połączonych sieci DQN warstwą rekurencyjną, zazwyczaj LSTM lub GRU. Warstwa rekurencyjna w DRQN przetwarza sekwencje obserwacji, a nie tylko pojedyncze migawki. Kluczową cechą tych warstw jest ich zdolność do utrzymywania wewnętrznego stanu, który jest aktualizowany w każdym kroku czasowym. Ten wewnętrzny stan działa jak pamięć, przechowując informacje o przeszłych obserwacjach i akcjach. Dzięki temu, nawet jeśli bieżąca obserwacja jest niepełna lub niejasna, sieć może odwołać się do swojej pamięci, aby zbudować bardziej kompleksowe zrozumienie obecnego stanu środowiska. W procesie treningu, zamiast losować pojedyncze przejścia stan-akcja-nagroda-następny stan, DRQN korzysta z bufora doświadczeń, który przechowuje całe epizody lub ich segmenty. Jest to niezbędne, aby zachować zależności czasowe i umożliwić warstwie rekurencyjnej naukę na spójnych sekwencjach danych. Kiedy sieć jest trenowana na sekwencjach, warstwa rekurencyjna uczy się identyfikować istotne wzorce czasowe i wykorzystywać je do predykcji wartości Q, co prowadzi do lepszych decyzji w środowiskach z częściową obserwowalnością.

Główne zalety i charakterystyka

Jedną z najważniejszych zalet DRQN jest jego zdolność do skutecznego działania w środowiskach z częściową obserwowalnością (POMDP). W przeciwieństwie do tradycyjnych DQN, które zakładają pełną dostępność informacji o stanie, DRQN może wyciągać wnioski na podstawie sekwencji zdarzeń, tworząc wewnętrzną reprezentację stanu, nawet jeśli pojedyncza obserwacja jest niekompletna. Dzięki zastosowaniu warstw rekurencyjnych, DRQN jest w stanie uczyć się i wykorzystywać zależności czasowe w danych. Oznacza to, że agent może pamiętać przeszłe zdarzenia i akcje, co jest kluczowe w sytuacjach, gdzie bieżąca percepcja nie wystarcza do podjęcia optymalnej decyzji. Pozwala to na budowanie bardziej złożonych i kontekstowych strategii działania, znacząco poprawiając wydajność w dynamicznych i niepewnych środowiskach.

Zastosowania w praktyce

Gry komputerowe z częściowo ukrytymi informacjami, np. gry strategiczne z mgłą wojny (StarCraft II), gry karciane (Poker), gdzie ruchy przeciwnika i niektóre elementy planszy są niewidoczne.
Sterowanie robotami mobilnymi w dynamicznych środowiskach z ograniczonymi sensorami, gdzie robot musi pamiętać poprzednie położenia i przeszkody, aby nawigować po nieznanym terenie.
Autonomiczne pojazdy, które muszą interpretować sekwencje obrazów z kamer i danych z czujników (Lidar, Radar) w celu predykcji przyszłych zdarzeń drogowych i unikania kolizji.
Zarządzanie zasobami w skomplikowanych systemach telekomunikacyjnych lub energetycznych, gdzie pełny globalny stan systemu nie jest dostępny, a decyzje muszą być podejmowane na podstawie lokalnych i historycznych danych.
Diagnostyka medyczna i personalizowane leczenie, gdzie historia choroby pacjenta i sekwencja wyników badań są kluczowe dla podejmowania decyzji o dalszym postępowaniu.

Porównanie z innymi strukturami danych

Główna różnica między Deep Recurrent Q-Network (DRQN) a klasycznym Deep Q-Network (DQN) leży w sposobie radzenia sobie z informacjami o środowisku. DQN jest zaprojektowane do działania w środowiskach, gdzie każdy stan jest w pełni obserwowalny (tzw. Markovowskie procesy decyzyjne - MDP). Oznacza to, że pojedyncza obserwacja dostarcza wszystkich niezbędnych informacji do podjęcia optymalnej decyzji. Sieć DQN przetwarza każdy stan niezależnie. DRQN natomiast został stworzony z myślą o środowiskach z częściową obserwowalnością (tzw. częściowo obserwowalne procesy decyzyjne - POMDP). W takich scenariuszach agent nie ma dostępu do pełnego stanu środowiska w danym momencie. DRQN przez zastąpienie warstwy w pełni połączonej w DQN warstwą rekurencyjną (np. LSTM lub GRU) zyskuje zdolność do budowania i utrzymywania wewnętrznej pamięci. Dzięki tej pamięci DRQN może integrować informacje z przeszłych obserwacji i akcji, tworząc bogatszą reprezentację kontekstu, co jest niemożliwe dla standardowego DQN. Ostatecznie, choć DRQN jest bardziej złożony obliczeniowo i wymaga specyficznego traktowania bufora doświadczeń (sekwencje zamiast pojedynczych przejść), oferuje znaczną przewagę w sytuacjach, gdzie pełna informacja o stanie jest niedostępna.

Najlepsze praktyki (2026)

Użycie warstw rekurencyjnych typu LSTM (Long Short-Term Memory) lub GRU (Gated Recurrent Unit) ze względu na ich skuteczność w uczeniu się długoterminowych zależności w sekwencjach danych.
Stosowanie bufora doświadczeń (experience replay buffer), który przechowuje całe epizody lub dłuższe segmenty sekwencji obserwacji, akcji i nagród, aby zachować spójność czasową danych treningowych.
Przygotowanie danych treningowych w postaci sekwencji o stałej lub zmiennej długości, z odpowiednim paddingiem lub maskowaniem, aby warstwa rekurencyjna mogła skutecznie przetwarzać całe konteksty.
Dostosowanie architektury sieci do specyfiki problemu, np. eksperymentowanie z liczbą warstw rekurencyjnych, ich rozmiarem (rozmiarem ukrytego stanu) oraz z warstwami konwolucyjnymi dla przetwarzania danych wizualnych.
Staranne strojenie hiperparametrów, w tym szybkości uczenia, współczynnika dyskontowania (gamma), współczynnika eksploracji (epsilon) oraz parametrów związanych z warstwami rekurencyjnymi, takich jak długość sekwencji.

Typowe błędy i pułapki

Stosowanie standardowego bufora doświadczeń (replay buffer), który losowo próbuje pojedyncze przejścia, co niszczy zależności czasowe niezbędne dla warstw rekurencyjnych. Zamiast tego należy buforować całe epizody lub ich spójne segmenty.
Używanie zbyt krótkich sekwencji treningowych, które nie dostarczają warstwie rekurencyjnej wystarczającego kontekstu do nauczenia się długoterminowych zależności i zrozumienia stanu środowiska.
Niewystarczająca moc obliczeniowa lub pamięć, zwłaszcza przy długich sekwencjach i dużych modelach rekurencyjnych, co może prowadzić do bardzo długich czasów treningu lub wyczerpania zasobów.
Ignorowanie problemów związanych z zanikiem lub eksplozją gradientów w warstwach rekurencyjnych, co wymaga zastosowania technik takich jak clipping gradientów (gradient clipping) lub odpowiedniej inicjalizacji wag.
Błędne założenie, że DRQN zawsze jest lepsze od DQN. W środowiskach z pełną obserwowalnością dodatkowa złożoność DRQN może prowadzić do dłuższych czasów treningu i braku zauważalnych korzyści w wydajności.