Panoramic video panoptic segmentation for enhanced perception in autonomous driving
Otonom sürüşte gelişmiş algı için panoramik video panoptik segmentasyonu
- Tez No: 1022478
- Danışmanlar: DOÇ. DR. TANER DANIŞMAN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Anlamsal bölütleme, Derin öğrenme, Görüntü bölütleme, Video bölütleme, Yapay sinir ağları, Semantic segmentation, Deep learning, Image segmentation, Video segmentation, Artificial neural networks
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Akdeniz Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Panoptik bölütleme, her piksele bir anlamsal sınıf ve sayılabilir her nesne örneğine ayırt edici bir kimlik atayarak sahnenin bütüncül bir betimini sağlar. Otonom sürüş bağlamında bu betimin yalnızca tek bir görüntüde değil, video boyunca ve aracı çevreleyen çoklu kameralar arasında da korunması gerekir. Böylece her nesne, hem zaman içinde hem de göründüğü farklı kameralar arasında tekil bir kimliği sürdürebilmelidir. Bu birleşik problem, panoramik video panoptik bölütleme olarak adlandırılmaktadır. Waymo Open Dataset: Panoramic Video Panoptic Segmentation (WOD: PVPS), bu görev için beş senkronize kamera ve global kimlik tutarlılığına sahip panoptik etiketler sunan tek açık referans veri seti ve değerlendirme platformudur. Bu değerlendirme platformu üzerine bugüne kadar yalnızca sınırlı sayıda yayımlanmış çalışma bulunmaktadır. Bu platformda, ilişkilendirme kalitesi ile ölçülen nesne kimliklerinin zaman ve kameralar arasındaki tutarlılığı, kare bazlı bölütleme kalitesinin oldukça gerisinde kalmaktadır. Bu nedenle ilişkilendirme, görevin temel zorluğunu oluşturmaktadır. Alanda üç temel boşluk varlığını sürdürmektedir: veri seti ayrıntılı biçimde analiz edilmemiştir, kimlik farkındalığına sahip nesne takibi yöntemleri bu veri setine uygulanmamıştır ve kameralar arası nesne ilişkilendirme için yeniden üretilebilir bir algoritma tanımlanmamıştır. Bu çalışmada, söz konusu boşlukları gidermek ve değerlendirme platformundaki ilişkilendirme başarımını artırmak amacıyla Pano CTVPS adı verilen üç aşamalı bir panoramik video panoptik bölütleme mimarisi geliştirilmiştir. İlk adım olarak, veri setine ilişkin ayrıntılı ve açık biçimde belgelenmiş bir analiz gerçekleştirilmiş; elde edilen bulgular sistem tasarımına yön vermek için kullanılmıştır. Birinci aşamada, her kamera Mask2Former modeli ile bağımsız olarak bölütlenmiştir. İkinci aşamada, her kamera içinde nesne kimlikleri, video örnek bölütlemesindeki tutarlı eğitim stratejisinden uyarlanan ve fiziksel olarak olanaksız eşleşmeleri reddeden bir hareket kapısı ile desteklenen kimlik farkındalığına sahip bir izleyici aracılığıyla takip edilmiştir. Üçüncü aşamada ise kimlikler, kamera kalibrasyonundan türetilen örtüşme bölgesindeki izleri ilişkilendiren ve birden fazla kameraya yayılan kimlikleri tek bir global kimlik altında birleştiren kalibrasyon temelli bir eşleştirici aracılığıyla komşu kameralar arasında bağlanmıştır. Geliştirilen mimari WOD: PVPS üzerinde değerlendirilmiş; doğrulama setinde 0,3228 ve ayrılmış test setinde 0,3187 ağırlıklı bölütleme ve izleme kalitesine (wSTQ) ulaşarak yayımlanmış panoramik temel yönteme kıyasla yaklaşık %82 oranında iyileşme sağlamıştır. Bu kazanım istatistiksel olarak anlamlıdır ve doğrulama setindeki her sahnede temel yöntemin üzerinde sonuç elde edilmiştir. İyileşme hem daha güçlü bir bölütleyiciden hem de daha başarılı kimlik ilişkilendirmesinden kaynaklanmış; ancak daha büyük katkı ilişkilendirme bileşeninden gelmiştir. Doğrulama setinde ağırlıklı ilişkilendirme kalitesi 0,0821'den 0,1736'ya çıkarak iki kattan fazla artarken, ağırlıklı bölütleme kalitesi 0,3846'dan 0,6003'e yükselmiştir. Genel olarak bu çalışma, söz konusu değerlendirme platformuna ilişkin açık biçimde belgelenmiş ilk çalışmayı sunmakta ve bu görevde en büyük kazanımların bölütlemeden ziyade ilişkilendirme aşamasından elde edildiğini göstermektedir.
Özet (Çeviri)
Panoptic segmentation provides a complete description of a scene by assigning a semantic class to every pixel and a distinct identity to every countable object. For autonomous driving, this description must hold not only in a single image but throughout a video and across the multiple cameras that surround the vehicle, so that each object keeps a single identity both over time and across the different cameras in which it appears. This combined problem is known as panoramic video panoptic segmentation. The Waymo Open Dataset: Panoramic Video Panoptic Segmentation (WOD: PVPS) is the only public dataset and benchmark for this task, providing five synchronized cameras with dense, identity-consistent panoptic labels. The benchmark has so far been the subject of only a few published studies. On this benchmark, the consistency of object identities across time and cameras, measured as association quality, remains far below per-frame segmentation quality. Association is therefore the principal difficulty of the task. Three gaps remain open: the dataset has not been analyzed in depth, identity-aware tracking has not been applied to the benchmark, and its cross-camera association has not been described by a reproducible algorithm. In this study, a three-stage panoramic video panoptic segmentation architecture, named Pano-CTVPS, was developed to address these gaps and to improve association on the benchmark. As a first step, an in-depth and openly documented analysis of the dataset was carried out, and its findings were used to guide the design of the system. In the first stage, each camera was segmented independently with a Mask2Former model. In the second stage, object identities were tracked within each camera by an identity-aware tracker, which was adapted from the consistent-training strategy of video instance segmentation and supported by a motion gate that rejects physically implausible matches. In the third stage, identities were linked across adjacent cameras by a calibration grounded matcher, which associated tracks within the overlap region derived from the camera calibration and resolved identities spanning several cameras into a single global identity. This architecture was evaluated on the WOD: PVPS, where it reached a weighted Segmentation and Tracking Quality (wSTQ) of 0.3228 on the validation split and 0.3187 on the held-out test split, an improvement of approximately 82% over the published panoramic baseline. The gain is statistically significant, with every validation scene exceeding the baseline. The improvement came from both a stronger segmenter and better identity association, with association the larger contributor: on the validation split the weighted association quality more than doubled, from 0.0821 to 0.1736, while the weighted segmentation quality rose from 0.3846 to 0.6003. Overall, the work provides the first openly documented study of this benchmark and shows that the largest gains on the task come from association rather than segmentation
Benzer Tezler
- Constructing panoramic scenes from aerial videos
Havadan çekilmiş yer videolarından panoramik görüntü oluşturulması
ELİF ERDEM
Yüksek Lisans
İngilizce
2007
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖZDE BOZDAĞI AKAR
- Dinamik panoramik görüntü kaydedici cihazların kullanım alanları ve teknik analizleri
Usage areas and technical analysis of dynamic panoramic image recorder devices
ALİ EFE İRALI
Yüksek Lisans
Türkçe
2014
Gazetecilikİstanbul ÜniversitesiGazetecilik Ana Bilim Dalı
PROF. DR. SUAT GEZGİN
- GPU-enabled real-time panoramic background subtraction
GPU kullanılarak gerçek zamanlı panoramik arkaplan çıkarma
SERDAR BÜYÜKSARAÇ
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE AKAR
DOÇ. DR. ALPTEKİN TEMİZEL
- Panoramik görüntüleme ve turist bilgi sistemi pilot projesi
Panoramic imaging and a pilot project of tourist information system
ÖZGÜN AKÇAY
Yüksek Lisans
Türkçe
2002
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiFotogrametri Ana Bilim Dalı
PROF. DR. M. ORHAN ALTAN
- An auto video shooting system for soccer games
Futbol maçları için otomatik video çekim sistemi
MEHMET BAYRAK
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. NAFİZ ARICA