Wprowadzenie
Neural Architecture Search (NAS) to dziedzina AutoML, której celem jest automatyczne znalezienie optymalnej architektury sieci neuronowej dla danego zadania, zamiast ręcznego projektowania przez ekspertów.
Dlaczego NAS jest ważny?
Ręczne projektowanie architektur (np. ResNet, Transformer, EfficientNet) wymaga ogromnej wiedzy i czasu. NAS automatyzuje ten proces, często znajdując architektury lepsze niż te stworzone przez ludzi.
Główne podejścia w NAS
- Reinforcement Learning NAS – (ENAS, NASNet) – kontroler RNN uczy się generować architektury
- Evolutionary Algorithms NAS – (AmoebaNet) – ewolucja populacji architektur
- Differentiable NAS (DNAS) – (DARTS, PDARTS) – ciągła relaksacja przestrzeni architektur, najpopularniejsze obecnie
- One-Shot NAS – trenowanie supernetworki, z której później wyodrębnia się podmodele
- Zero-Cost NAS – bardzo szybkie metody szacowania jakości architektury bez pełnego treningu
- Hardware-Aware NAS – uwzględnia ograniczenia sprzętowe (latency, energy, memory)
Najważniejsze metody NAS
- NASNet – jedna z pierwszych dużych sukcesów Google
- DARTS – przełomowa metoda differentiable
- EfficientNet – częściowo znaleziona przez NAS
- Once-for-All (OFA) – elastyczne sieci na różne urządzenia
- AutoFormer / ViT NAS – wyszukiwanie architektur Transformerów
Zalety i wady NAS
- Zalety: Lepsza wydajność, odkrywanie nieintuicyjnych architektur, automatyzacja
- Wady: Bardzo wysokie koszty obliczeniowe (setki GPU-dni), niestabilność wyszukiwania
Zastosowania w praktyce (2026)
- Projektowanie efektywnych modeli mobilnych i edge AI
- Optymalizacja architektur dla konkretnych domen (medycyna, autonomiczne pojazdy)
- Wyszukiwanie architektur Transformerów i Mamba
- Tworzenie modeli multimodalnych
Najlepsze praktyki
- Używaj Differentiable NAS (DARTS-like) dla rozsądnego kompromisu
- Uwzględniaj Hardware-Aware i Multi-Objective NAS
- Łącz NAS z Knowledge Distillation i Pruning
- Stosuj Zero-Cost proxies na wczesnym etapie wyszukiwania
Powiązane pojęcia
AutoML • DARTS • ENAS • Evolutionary Search • Differentiable Architecture Search • Once-for-All • EfficientNet • Hyperparameter Optimization