Towards improving the robustness and generalizability of camera-based bird's eye view segmentation models
Kuş bakışı görünüm segmentasyon modellerinin sağlamlığını ve genelleme yeteneğini geliştirme
- Tez No: 974541
- Danışmanlar: DR. ÖĞR. ÜYESİ FATMA GÜNEY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Kuş Bakışı Görünüm, çevrenin üç boyutlu mekânsal düzenini yapılandırılmış bir şekilde sunması nedeniyle, otonom sürüşteki pek çok görev için kritik öneme sahiptir. Araç kameralarından kuş bakışı görünüm çıkarmak, LiDAR tabanlı yöntemlere kıyasla daha uygun maliyetli ve ölçeklenebilir bir alternatif sunar. Ancak yalnızca görsel verilere dayanan kuş bakışı görünüm üreten modeller bazı zorluklarla karşılaşmaktadır: Bu modeller, bozulmuş girdilerle (örneğin bulanık kamera görüntüleri veya kamera arızaları) karşılaştıklarında yeterince dayanıklı değildir ve mevcut veri kümeleri yeterli çeşitliliğe sahip olmadığından genelleme konusunda da yetersiz kalmaktadır. Dayanıklılık ve genelleme, otonom sürüş sistemlerinin gerçek dünya koşullarında güvenli ve güvenilir bir şekilde çalışabilmesi için kritik faktörlerdir. Bu tezde, her iki soruna da çözüm sunmayı hedefliyoruz. İlk olarak, kuş bakışı görünüm üreten modellerin dayanıklılığını artırmak amacıyla, büyük görsel temel modellerin (vision foundation models) güçlü ve genellenebilir özelliklerinden faydalanarak bu modelleri parametre açısından verimli bir adaptasyon tekniği ile BEV algılama sistemlerine entegre ediyoruz. Yaptığımız deneyler, çeşitli girdi bozulmaları altında modelin dayanıklılığında artış sağlandığını ve model boyutu ile girdi çözünürlüğü arttıkça bu kazanımların daha da belirginleştiğini göstermektedir. Ayrıca yöntemimizin daha hızlı yakınsama sağladığını ve daha az öğrenilebilir parametreye ihtiyaç duyduğunu da ortaya koymaktayız. İkinci olarak, sınırlı veri kümesi kapsamı ve çoklu görüşlü sürüş sahnesi üretiminde esnek girdi kontrolünün olmaması sorununu ele almak amacıyla, orta düzeyde zorluk içeren ve veri kümesinde az temsil edilen sahne yapılarını hedefleyen yönlendirmeli bir yerleşim üretim hattı öneriyoruz. Gerçek sürüş sahnelerinin dağılımını analiz ederek, bir üretici modeli bu dağılımın belirli bölgelerinde sahneler üretmeye yönlendiriyoruz. Bu yönlendirmeli örneklerle kuş bakışı çıkaran modellerin eğitim kümesini genişletmek şu an için doğrudan bir performans artışı sağlamasa da, üretilen yerleşimlerin büyük ölçüde gerçek dünya yapılarına uygun olduğu ve hedeflenen dağılım bölgesine denk düştüğü gözlemlenmiştir. Bu durum, önerdiğimiz yöntemin, kuş bakışı algı modellerinin genelleme yeteneğini artırmaya yönelik hedef odaklı sentetik veri üretimi açısından gelecek vadettiğini göstermektedir.
Özet (Çeviri)
Bird's Eye View (BEV) representations are essential for many autonomous driving tasks, as they provide a structured understanding of the 3D spatial layout of the environment. Extracting BEV from camera images offers a cost-effective and scalable alternative to LiDAR. However, vision-only BEV models come with their own challenges: they often lack robustness when encountered with corrupted inputs (e.g., noisy images or camera failures) and struggle to generalize due to insufficient coverage of existing datasets. Both robustness and generalization are important for making autonomous driving systems safe and reliable for their deployment in real-world. In this thesis, we address both of these challenges. First, to improve the robustness of BEV perception, we propose utilizing the strong and generalizable features of large vision foundation models by integrating them into BEV perception using a parameter-efficient adaptation technique. Our experiments show improved robustness under various input corruptions, with additional gains observed by scaling the model size and input resolution. We also demonstrate faster convergence and reduced parameter requirements, highlighting the efficiency of our approach. Second, to tackle the issue of limited dataset coverage and the lack of flexible input control in multiview driving scene generation, we propose a guided layout generation pipeline that targets moderately challenging and underrepresented scene configurations. By analyzing the distribution of real-world driving scenes, we guide a generative model to synthesize scenes in these specific regions of the distribution. While augmenting the training set of BEV perception models with these guided samples does not yet yield performance gains, the generated layouts closely follow real-world configurations and mostly fall within the target region. This suggests promising potential for targeted synthetic data augmentation as a future direction for improving the generalization of BEV perception models.
Benzer Tezler
- Generalizable face forgery detection with metric learning and domain-adversarial training
Metrik öğrenme ve alan-çekişmeli eğitim ile genelleştirilebilir yüz sahteciliği tespiti
MUSTAFA HAKAN KARA
Yüksek Lisans
Türkçe
2025
İhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Yapay sinir ağları destekli etkinlik ölçümü: Veri zarflama analizi üzerine uygulamalar
Artificial neural network aided efficiency measurement: Applications on data envelopment analysis
IRMAK UZUN BAYAR
- Privacy and security enhancements of federated learning
Federe öğrenme uygulamalarında mahremiyet ve güvenlik geliştirmeleri
ŞÜKRÜ ERDAL
Yüksek Lisans
İngilizce
2024
İstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
Yükleniyor...
- Makine öğrenmesi yöntemleri ile yangın verilerinin analizi ve sınıflandırılması
Analysis and classification of fire data using machine learning methods
ZEYNEP NAZLI ASLAN
Yüksek Lisans
Türkçe
2025
Sakarya ÜniversitesiYangın ve Yangın Güvenliği Ana Bilim Dalı (disiplinlerarası)
Yükleniyor...
- Kısıtlı veri ile yorulma çatlağı ilerleme hızı tahmini: Yapay ve fizik bilgili sinir ağlarının karşılaştırmalı analizi
Fatigue crack growth rate prediction with limited data: A comparative analysis of artificial and physics-informed neural networks
AZİM HASANOV