Geri Dön

Single frame targetless lidar-camera calibration using region of interest based edge features

Bölge ilgi tabanlı kenar özellikleri kullanılarak tek kareli hedefsiz lidar-kamera kalibrasyonu

PDF İndir

  1. Tez No: 995382
  2. Yazar: MAHSUN BİNGÖL
  3. Danışmanlar: PROF. DR. VOLKAN SEZER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Mekatronik Mühendisliği, Mechatronics Engineering
  6. Anahtar Kelimeler: Kamera Kalibrasyonu, Camera Calibration
  7. Yıl: 2026
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Günümüzde otonom sistemlerin yaygınlaşmasıyla birlikte, hem otonom araçlarda hem de robotik uygulamalarda sensörlerin önemi giderek artmıştır. Farklı amaçlara hizmet eden çok sayıda sensör türü, çeşitli uygulama alanlarında kullanılmaktadır. Bu sensörler, çevresel verilerin toplanması, nesnelerin algılanması ve sistemlerin çevreleriyle etkileşim kurabilmesi için temel bileşenlerdir. Örneğin LiDAR sensörleri, otonom araçlarda çevrenin haritalanması ve engellerin tespit edilmesi amacıyla yaygın biçimde kullanılırken, ultrasonik sensörler robotik uygulamalarda yakınlık algılama görevlerinde tercih edilmektedir. Kamera tabanlı sensörler ise görsel veri elde edilmesi ve nesne tanıma gibi algılama görevlerinde kritik bir rol oynamaktadır. Sensör teknolojilerindeki ilerlemeler, otonom sistemlerin daha güvenli, verimli ve etkili biçimde çalışmasını mümkün kılmaktadır. Bu bağlamda, sensörlerin doğru seçimi ve entegrasyonu, otonom sistemlerin başarısı açısından kritik bir öneme sahiptir. Bu tez çalışmasında, otonom sürüş ve algılayıcı füzyonu uygulamalarında kritik öneme sahip olan LiDAR–kamera dışsal kalibrasyon problemi ele alınmıştır. Kalibrasyon tahtası gibi fiziksel hedefler gerektirmeyen, tek kare üzerinde çalışabilen ve ROI (Region of Interest) tabanlı bir kalibrasyon çerçevesi önerilmiştir. Literatürde yaygın olarak kullanılan kenar temelli kalibrasyon yaklaşımı temel alınmış; ancak veri kullanım biçimi, görüntü işleme akışı ve optimizasyon stratejileri bakımından yöntem genişletilmiştir. Bu kapsamda, manuel ROI ve otomatik ROI seçimleri ile farklı optimizasyon tekniklerinin kalibrasyon performansı üzerindeki etkileri sistematik biçimde incelenmiştir. Deneylerde KITTI veri seti kullanılmış, gerçek dışsal parametrelere farklı seviyelerde bozunumlar uygulanmış ve ROI seçiminin hem hesaplama verimliliği hem de kalibrasyon doğruluğu üzerindeki etkileri nicel olarak değerlendirilmiştir. Önerilen yöntemde, LiDAR nokta bulutu ile kamera görüntüsü zaman uyumlu biçimde ele alınmıştır. LiDAR noktaları, mevcut dışsal parametreler kullanılarak görüntü düzlemine projekte edilmiş ve yalnızca görüntü alanıyla kesişen noktalar üzerinden işlem yapılmıştır. LiDAR tarafında kenar noktaları, tarama çizgisi boyunca komşu noktalar arasındaki derinlik süreksizliklerinden yararlanılarak çıkarılmıştır. Kamera tarafında ise RGB görüntüden çok aşamalı bir görüntü işleme zinciri uygulanmış, kenar temsili elde edilmiş ve kenarlara yakın pikselleri yüksek değerle ifade eden sürekli bir edginess haritası oluşturulmuştur. Kalibrasyon maliyet fonksiyonu, ROI içerisindeki projekte LiDAR kenar noktalarının görüntüdeki edginess değerleri ile olan hizalanmasını ölçmek üzere tanımlanmıştır. Her bir projeksiyonun katkısı, LiDAR derinlik süreksizliği ile görüntü edginess değerinin çarpımı olarak modellenmiş ve bu katkılar tek bir skaler maliyet değerine indirgenmiştir. ROI seçimi iki farklı yaklaşımla ele alınmıştır. Birinci yaklaşımda kullanıcı tarafından manuel olarak belirlenen tekil dikdörtgensel bir ROI kullanılmıştır. İkinci yaklaşımda ise YOLOv7-X tabanlı nesne algılama yöntemi ile otomatik olarak belirlenen çoklu ROI yapısı kullanılmıştır. Otomatik ROI yaklaşımında, projekte LiDAR noktası içermeyen veya güvenilir olmayan nesne tespitleri elenmiştir. Çoklu ROI kullanımında, maliyet değerleri her bir ROI için ayrı ayrı hesaplanmış ve optimizasyon süreci bu maliyetlerin ortalaması üzerinden yürütülmüştür. Dışsal parametrelerin iyileştirilmesi amacıyla iki farklı optimizasyon stratejisi uygulanmıştır. Birinci yöntem, altı serbestlik derecesi üzerinde sabit adımlı ayrık bir komşuluk tanımlayarak en iyi komşu çözümü seçen, açgözlü tepe tırmanma tabanlı bir grid-search yaklaşımıdır. İkinci yöntem ise zamanla değişen atalet ağırlığı ve hızlanma katsayıları kullanan deterministik bir Parçacık Sürü Optimizasyonu algoritmasıdır. PSO yönteminde tekrarlanabilirlik sağlamak amacıyla deterministik tohumlama uygulanmış ve parçacık değerlendirmeleri çok iş parçacıklı bir yapı ile hızlandırılmıştır. Ayrıca çevrimiçi kullanım senaryolarını desteklemek amacıyla, yanlış kalibrasyon durumunu tespit etmeye yönelik bir mekanizma geliştirilmiştir. Bu kapsamda, mevcut kalibrasyon çevresinde küçük bozunumlarla üretilen komşu dönüşümlerin maliyet dağılımları analiz edilerek doğru ve yanlış kalibrasyon durumlarının ayrıştırılması hedeflenmiştir. Deneysel sonuçlar, ROI tabanlı işlemenin hem hesaplama maliyetini anlamlı biçimde azalttığını hem de kalibrasyonun sayısal olarak daha kararlı sonuçlar ürettiğini açıkça göstermektedir. Otomatik ROI seçimi kullanıldığında, iterasyon başına ortalama hesaplama süresi X ekseninde yaklaşık 0.31 saniyeden 0.21 saniyeye düşmüş ve yaklaşık 1.51 kat hızlanma elde edilmiştir. Benzer biçimde Y ve Z eksenlerinde ortalama iterasyon süreleri sırasıyla 0.28 saniyeden 0.21 saniyeye gerileyerek yaklaşık 1.32 ve 1.35 kat hızlanma sağlanmıştır. Pertürbasyon seviyeleri ayrı ayrı incelendiğinde, X ekseninde hızlanma faktörünün yaklaşık 1.37 ile 1.70 arasında değiştiği, Y ve Z eksenlerinde ise hızlanmanın daha stabil biçimde 1.29 ile 1.37 aralığında kaldığı gözlemlenmiştir. Bu bulgular, ROI ile sınırlandırılmış maliyet hesabının arama uzayını küçülterek iterasyon başına hesaplama yükünü eksen bağımsız biçimde azalttığını ortaya koymaktadır. Kalibrasyon doğruluğu açısından değerlendirildiğinde, ROI tabanlı yöntemlerin özellikle küçük ve orta büyüklükteki bozunumlar altında belirgin bir üstünlük sağladığı görülmektedir. X ekseni çeviri bozunumlarında, 0.03 metre seviyesinde en düşük toplam çeviri hatası otomatik ROI ve PSO birleşimi ile yaklaşık 0.0194 metre olarak elde edilmiştir. Aynı koşulda manuel ROI ve PSO yöntemi yaklaşık 0.0204 metre, otomatik ROI ve grid-search yöntemi ise yaklaşık 0.0220 metre hata üretmiştir. Referans yöntem olan Levinson yaklaşımı ise yaklaşık 0.0870 metre hata üreterek, önerilen yönteme kıyasla yaklaşık 4.5 kat daha yüksek bir hata sergilemiştir. Daha büyük bir bozunum olan 0.10 metre seviyesinde dahi, ROI tabanlı yöntemler yaklaşık 0.010 ile 0.017 metre aralığında çeviri hataları üretirken, referans yöntemin hatası yaklaşık 0.1175 metre seviyesine yükselmiştir. Bu sonuçlar, ROI kısıtının büyük bozunumlar altında dahi çeviri doğruluğunu korumaya yardımcı olduğunu göstermektedir. Çeviri bozunumları altında ölçülen dönme hataları incelendiğinde, ROI seçiminin kullanılan optimizasyon yöntemiyle birlikte farklı davranış örüntüleri sergilediği görülmektedir. X ekseni çeviri bozunumu altında, en düşük toplam dönme hatası manuel ROI ve PSO yöntemi ile yaklaşık 0.0357 derece olarak elde edilmiştir. Aynı koşulda otomatik ROI ve PSO yöntemi yaklaşık 0.0640 derece, otomatik ROI ve grid-search yöntemi ise yaklaşık 0.0805 derece dönme hatası üretmiştir. Buna karşılık Y ekseni çeviri bozunumlarında otomatik ROI ve PSO yöntemi belirgin bir üstünlük göstermiştir. Bu yöntemde, 0.05 metre seviyesinde yaklaşık 0.0157 derece, 0.10 metre seviyesinde ise yaklaşık 0.0079 derece gibi oldukça düşük dönme hatalarına ulaşılmıştır. Bu bulgular, otomatik ROI yaklaşımının birden fazla nesneden elde edilen geometrik kısıtları birlikte kullanarak, çeviri kaynaklı bozunumlar altında dahi dönme parametrelerini daha etkin biçimde sınırlandırabildiğini göstermektedir. Z ekseni ve dönel bozunumlar altında elde edilen sonuçlar, çoklu ROI kullanımının kalibrasyon kararlılığı üzerindeki etkisini daha net biçimde ortaya koymaktadır. Örneğin pitch bozunumlarında 0.03 derece seviyesinde otomatik ROI ve PSO yöntemi yaklaşık 0.012 metre çeviri hatası üretirken, manuel ROI ve PSO yöntemi yaklaşık 0.051 metre, referans yöntem ise yaklaşık 0.042 metre hata üretmiştir. Benzer şekilde roll bozunumlarında 0.10 derece seviyesinde otomatik ROI ve PSO yöntemi yaklaşık 0.015 metre çeviri hatası ile en iyi sonucu verirken, manuel grid-search yöntemi yaklaşık 0.046 metre hata seviyesinde kalmıştır. Bu sayısal sonuçlar, otomatik ROI kullanımının özellikle küçük ve orta büyüklükteki açısal bozunumlarda hem çeviri hem de dönme bileşenlerinde daha dengeli bir hata dağılımı sağladığını göstermektedir. Yanlış kalibrasyon tespiti kapsamında yapılan değerlendirmelerde, doğru kalibrasyon durumlarında komşu bozunumlar altında elde edilen başarı oranının ortalama olarak 0.90'ın üzerinde olduğu gözlemlenmiştir. Yanlış kalibrasyon senaryolarında ise bu değerin belirgin biçimde düştüğü görülmüştür. Başarı oranı dağılımlarının istatistiksel analizi, doğru kalibrasyon durumlarında dar varyanslı ve yüksek ortalamalı bir dağılım sergilerken, yanlış kalibrasyon durumlarında dağılımın hem ortalama hem de standart sapma açısından belirgin biçimde ayrıştığını ortaya koymuştur. Bu sonuçlar, geliştirilen değerlendirme yaklaşımının kalibrasyon doğruluğunu yalnızca görsel olarak değil, nicel ve istatistiksel olarak da güvenilir biçimde izleyebildiğini göstermektedir. Genel olarak elde edilen sayısal bulgular, manuel veya otomatik ROI seçimi ile desteklenen ve grid-search ya da PSO tabanlı optimizasyon yöntemleri kullanan tek kareye dayalı LiDAR–kamera dışsal kalibrasyon çerçevesinin, hesaplama süresini ortalama olarak yüzde 25 ile yüzde 32 oranında azalttığını göstermektedir. Aynı zamanda, çeviri hatalarının santimetre altı seviyelerde, dönme hatalarının ise ondalık derece mertebesinde tutulabildiği görülmektedir. Bu yönüyle önerilen ROI destekli ve optimizasyon temelli kalibrasyon çerçevesi, çevrimiçi ve çevrimdışı kalibrasyon güncellemesi gerektiren otonom sürüş sistemleri için hem hesaplama açısından verimli hem de doğruluk ve kararlılık açısından uygulanabilir bir çözüm sunmaktadır.

Özet (Çeviri)

With the increasing adoption of autonomous systems in both autonomous driving and robotics, accurate perception and sensor integration have become critical for safe and reliable operation. Among multi-sensor configurations, the extrinsic calibration between LiDAR and camera sensors plays a fundamental role in sensor fusion, object detection, and environment perception. This thesis addresses the LiDAR–camera extrinsic calibration problem and proposes a targetless, single-frame calibration framework based on region-of-interest selection, designed to operate without calibration targets and to support online calibration scenarios. The proposed framework builds upon edge-based calibration principles commonly used in the literature, but extends them through systematic integration of ROI-based data selection and multiple optimization strategies. Both manual and automatic ROI selection schemes are investigated. In the manual approach, a single rectangular ROI is defined by the user, whereas in the automatic approach, multiple ROIs are generated using YOLOv7-X-based object detection. Only ROIs containing reliable projected LiDAR points are retained, and in the multi-ROI case, the overall cost is computed as the average of ROI-level costs. LiDAR point clouds and camera images are processed in a time-synchronized manner. LiDAR edge points are extracted based on depth discontinuities along scan lines, while camera images are processed through a multi-stage pipeline to produce a continuous edginess map that assigns higher values to pixels closer to image edges. A scalar cost function is defined by measuring the alignment between projected LiDAR edge points and image edginess values within the selected ROIs, where each projection contributes proportionally to the product of LiDAR depth discontinuity and image edginess. Two optimization strategies are employed to refine the extrinsic parameters. The first is a greedy grid-search method based on discrete neighborhood evaluation. The second is a deterministic Particle Swarm Optimization algorithm using time-varying inertia and acceleration coefficients. To ensure reproducibility and computational efficiency, deterministic seeding and multi-threaded particle evaluation are applied. In addition, a calibration validity assessment mechanism is introduced to detect incorrect calibrations by analyzing cost distributions under small perturbations around the estimated solution. Experiments conducted on the KITTI dataset demonstrate that ROI-based processing significantly reduces computational cost while improving calibration robustness. Automatic ROI selection reduces the average per-iteration computation time by approximately twenty-five to thirty-two percent across all translation axes, achieving speedup factors of up to one point seven times. In terms of accuracy, ROI-based methods consistently outperform the baseline approach, achieving sub-centimeter translation errors and sub-degree rotation errors under small and moderate perturbations. Automatic ROI selection combined with Particle Swarm Optimization is particularly effective in stabilizing rotational estimates under translation and angular perturbations by exploiting geometric constraints derived from multiple scene objects. Overall, the results confirm that the proposed ROI-supported, optimization-based, single-frame LiDAR–camera extrinsic calibration framework provides a computationally efficient, accurate, and stable solution suitable for both offline calibration and online calibration update scenarios in autonomous driving systems.

Benzer Tezler

  1. Tez No

    609345

    Target aware visual object tracking

    Hedef farkındalığıyla görsel nesne takibi

    CANER ÖZER

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. BİLGE GÜNSEL KALYONCU

  2. Tez No

    106670

    Euro'ya geçiş ve euro para birimli tahvil piyasalarının yapısı ve işleyişi üzerine bir araştırma

    Başlık çevirisi yok

    SEVGİ AYDOĞDU TÜRKKAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2001

    EkonomiMarmara Üniversitesi

    Sermaye Piyasası ve Borsa Ana Bilim Dalı

    DOÇ.DR. GÜREL KONURALP

  3. Tez No

    352436

    Seçmeli simge başına hız kontrolü (S-PSRC) yönteminin doğrusal uzay-zaman kodları üzerindeki etkisinin incelenmesi

    A study of selective per-symbol rate control (S-PSRC) on linear space-time codes

    ABDULKADİR ÖZDAMAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2013

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. M. ERTUĞRUL ÇELEBİ

  4. Tez No

    46409

    Katodik Ark Pvd yöntemi ile üretilmiş tiaın ve tin kaplamalarının korozyon özellikleri

    Başlık çevirisi yok

    LEVENT CANDEMİR

    Yüksek Lisans

    Türkçe

    Türkçe

    1995

    Metalurji Mühendisliğiİstanbul Teknik Üniversitesi

    PROF.DR. ALİ FUAT ÇAKIR

  5. Tez No

    637996

    Visual object tracking by using deep neural networks

    Derin sinir ağları kullanılarak görsel nesne takibi

    HASAN SARİBAŞ

    Doktora

    İngilizce

    İngilizce

    2020

    Elektrik ve Elektronik MühendisliğiEskişehir Teknik Üniversitesi

    Havacılık Elektrik ve Elektroniği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SİNEM KAHVECİOĞLU

    PROF. DR. HAKAN ÇEVİKALP

Geri Dön