Wprowadzenie
Cityscapes to jeden z najbardziej wpływowych zbiorów danych w dziedzinie wizji komputerowej i sztucznej inteligencji, stworzony specjalnie do badań nad scenami miejskimi. Jego głównym przeznaczeniem jest rozwijanie algorytmów segmentacji semantycznej i instancyjnej, detekcji obiektów oraz estymacji głębi. Zawiera on dużą liczbę wysokiej jakości obrazów scen ulicznych, opatrzonych szczegółowymi anotacjami. Zbiór ten odgrywa fundamentalną rolę w postępie technologii autonomicznych pojazdów i robotyki mobilnej. Dzięki niemu badacze i inżynierowie mogą trenować i walidować modele sztucznej inteligencji, które potrafią precyzyjnie rozumieć otoczenie w złożonych środowiskach miejskich, co jest kluczowe dla bezpieczeństwa i efektywności systemów autonomicznych.
Jak działają Cityscapes?
Zbiór danych Cityscapes składa się z 5000 precyzyjnie, ręcznie anotowanych obrazów scen miejskich, zebranych z 50 różnych miast w Niemczech. Obrazy te mają wysoką rozdzielczość 2048x1024 pikseli, co pozwala na szczegółową analizę wizualną. Anotacje są podzielone na 30 różnych klas obiektów, które grupowane są w 8 głównych kategorii, takich jak pojazdy, piesi, budynki, drogi, drzewa czy sygnalizacja świetlna. Każdy piksel obrazu jest przypisany do konkretnej klasy, co umożliwia segmentację semantyczną na poziomie pikselowym. Oprócz segmentacji semantycznej, Cityscapes zawiera również anotacje instancyjne dla wybranych klas, co pozwala na identyfikację poszczególnych obiektów tej samej klasy (np. rozróżnienie dwóch samochodów). Zbiór danych został rozszerzony o dodatkowe 20 000 obrazów z grubszymi anotacjami (tzw. coarse annotations), które mogą być wykorzystywane do wstępnego trenowania modeli lub augmentacji danych. Wykorzystanie Cityscapes polega na trenowaniu i testowaniu algorytmów głębokiego uczenia, zwłaszcza konwolucyjnych sieci neuronowych (CNNs) i ich wariantów, takich jak UNet, DeepLab czy Mask R-CNN. Dzięki standaryzacji anotacji i warunków zbierania danych, Cityscapes służy jako benchmark, umożliwiając obiektywne porównanie wydajności różnych modeli AI w zadaniach związanych z rozumieniem scen miejskich.
Główne zalety i charakterystyka
Cityscapes wyróżnia się kilkoma kluczowymi zaletami, które uczyniły go standardem w wizji komputerowej. Po pierwsze, wysoka jakość anotacji – każdy z 5000 obrazów jest ręcznie etykietowany z niezwykłą precyzją, co minimalizuje błędy i zapewnia wiarygodność dla trenowanych modeli. Po drugie, zbiór oferuje wyjątkową różnorodność scen, obejmując obrazy z wielu miast, różne pory dnia, warunki pogodowe (słońce, deszcz, zachmurzenie) oraz perspektywy, co przyczynia się do tworzenia bardziej odpornych i generalizowalnych algorytmów. Ponadto, Cityscapes służy jako uznany standard benchmarkowy, pozwalając badaczom z całego świata na obiektywne porównywanie wyników swoich algorytmów segmentacji semantycznej i instancyjnej. Szczegółowość anotacji, obejmująca zarówno przypisanie piksela do klasy (semantyczna) jak i identyfikację pojedynczych instancji obiektów (instancyjna), jest nieoceniona dla rozwoju precyzyjnych i zaawansowanych systemów AI.
Zastosowania w praktyce
- Autonomiczne pojazdy: Rozpoznawanie pasów ruchu, sygnalizacji świetlnej, znaków drogowych, pieszych i innych uczestników ruchu w celu bezpiecznej nawigacji.
- Robotyka mobilna: Umożliwienie robotom precyzyjnego rozumienia otoczenia w miejskich środowiskach, co jest kluczowe dla ich autonomicznej nawigacji i interakcji z otoczeniem.
- Inteligentne miasta: Analiza ruchu ulicznego, optymalizacja sygnalizacji świetlnej, planowanie urbanistyczne oraz monitorowanie infrastruktury miejskiej poprzez automatyczne rozpoznawanie elementów.
- Rozwój algorytmów wizji komputerowej: Trenowanie i testowanie nowych architektur sieci neuronowych oraz technik głębokiego uczenia dla zadań segmentacji obrazu, detekcji obiektów i estymacji głębi.
- Tworzenie wirtualnych środowisk: Generowanie realistycznych scen w symulacjach dla testowania autonomicznych systemów przed wdrożeniem w realnym świecie.
Porównanie z innymi strukturami danych
Cityscapes wyróżnia się na tle innych popularnych zbiorów danych, takich jak Pascal VOC czy MS COCO, głównie przez swoją specyfikę i precyzję w środowisku miejskim. Podczas gdy Pascal VOC i COCO są bardziej ogólne i zawierają szeroki zakres obiektów w różnych kontekstach, Cityscapes koncentruje się wyłącznie na złożonych scenach ulicznych, oferując znacznie bardziej szczegółowe i gęste anotacje semantyczne dla każdego piksela obrazu. To sprawia, że jest niezastąpiony dla zadań wymagających bardzo dokładnego rozumienia kontekstu miejskiego. W porównaniu do zbioru KITTI, który również jest istotny dla autonomicznych pojazdów, Cityscapes oferuje bogatsze i bardziej zróżnicowane anotacje dla segmentacji semantycznej 2D. KITTI skupia się bardziej na detekcji obiektów 3D, estymacji głębi oraz śledzeniu z wykorzystaniem danych z lidarów i kamer stereo. Cityscapes natomiast dostarcza wyjątkowo precyzyjnych masek semantycznych, co jest kluczowe dla algorytmów, które muszą rozróżniać każdy element sceny, od drogi po poszczególne pnie drzew, w widoku z kamery.
Najlepsze praktyki (2026)
- Pre-trening modeli: Rozpoczynanie trenowania modeli na większych, bardziej ogólnych zbiorach danych (np. ImageNet) w celu uzyskania wstępnie nauczonych cech, a następnie dostrajanie ich na Cityscapes.
- Augmentacja danych: Stosowanie technik takich jak losowe obroty, skalowanie, przesunięcia, zmiany jasności i kontrastu w celu zwiększenia różnorodności zbioru treningowego i poprawy odporności modelu.
- Funkcje straty: Wykorzystywanie odpowiednich funkcji straty, takich jak krzyżowa entropia ważona dla segmentacji piksel po pikselu, aby lepiej radzić sobie z niezbalansowanymi klasami.
- Metryki oceny: Stosowanie metryk takich jak Mean Intersection over Union (mIoU) oraz dokładność dla każdej klasy w celu obiektywnej oceny jakości segmentacji modelu.
- Architektury sieci: Wykorzystywanie zaawansowanych architektur głębokiego uczenia opartych na mechanizmach encoder-decoder, takich jak U-Net, DeepLabV3+ czy HRNet, które efektywnie przetwarzają kontekst przestrzenny i szczegóły.
Typowe błędy i pułapki
- Overfitting: Nadmierne dopasowanie modelu do danych treningowych, co prowadzi do słabej generalizacji na nowe, niewidziane wcześniej dane. Zwalczanie za pomocą regularyzacji i walidacji.
- Brak różnorodności danych: Pomimo szerokiego zakresu Cityscapes, trenowanie tylko na ograniczonym podzbiorze scen (np. tylko w słoneczne dni) może prowadzić do słabej wydajności w zmiennych warunkach (deszcz, noc).
- Niska jakość anotacji: Chociaż w Cityscapes jest to rzadkie, w przypadku innych zbiorów danych, niedokładne etykietowanie może wprowadzać błędy do modelu. W Cityscapes wyzwaniem są niekiedy bardzo małe i odległe obiekty.
- Niezbalansowane klasy: Niektóre klasy obiektów (np. droga, budynki) występują znacznie częściej niż inne (np. rowerzysta, sygnalizacja świetlna), co może wymagać specjalnych technik ważenia funkcji straty lub nadpróbkowania.
- Problemy z interpretacją małych obiektów: Małe obiekty, takie jak odlegli piesi, drobne znaki drogowe lub gałęzie drzew, są często trudne do poprawnego segmentowania lub wykrywania przez modele AI.