Multi-modal image registration
Çok modlu görüntü çakıştırma
- Tez No: 830008
- Danışmanlar: PROF. DR. BAHADIR KÜRŞAT GÜNTÜRK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İstanbul Medipol Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 56
Özet
Çoklu modlu görüntü çakıştırma, uzaktan algılama ve görsel navigasyon gibi birçok uygulamanın temelini oluşturur. Tek modlu görüntüler için tasarlanmış geleneksel yöntemler, çoklu modlu görüntü çakıştırma problemlerinde yeterli başarı gösterememektedir. Diğer taraftan, çoklu modlu görüntü eşleştirme için geliştirilmiş teknikler genellikle gerçek zamanlı uygulamaların isterleriyle uyumlu değildir. Bu alandaki boşluk, bu tezin temel motivasyonunu oluşturur: farklı görüntüleme modlarının, özellikle kızılötesi ve optik (görünür aralık) görüntülerin gerçek zamanlı olarak ve yüksek hassasiyette çakıştırılmasını sağlayan yöntemlerin geliştirilmesi. Bu amaçla iki farklı yaklaşım önerilmiştir. Birinci yaklaşımda, kızılötesi görüntülerin optik eşdeğerlerine dönüştürülmesi için görüntüden görüntüye çeviri sağlayan derin yapay sinir ağı uygulanmıştır. Bu dönüşüm, daha gürbüz ve doğru anahtar nokta belirleme ve tanımlamayı sağlayarak görüntü çakıştırmanın başarımını artırır. İkinci yaklaşımda, karmaşık görüntü verilerinin özniteliklerinin etkin bir şekilde çıkarılmasını sağlayan Swin Transformer (Dönüştürücü) kodlayıcıyı kullanılmıştır. Bunlara ek olarak, kodlanmış görüntülerin arasındaki mesafeyi en aza indirmeyi hedefleyen kosinüs kayıp fonksiyonun da eklenmesiyle görüntü çakıştırmanın doğruluk ve hassasiyetinin daha da arttırılması hedeflenmiştir. Bu sayede çok modlu görüntü çakıştırmada yüksek potansiyelli yeni yaklaşımlar sunulmuştur. Bu teknolojilerin tamamlayıcı doğası, çoklu modlu görüntü çakıştırmayla ilgili zorluklara entegre, çok yönlü ve verimli çözüm sağlayabilir. Kapsamlı simülasyonlarla, her iki yaklaşımın da deneysel doğrulamasını sağlanmış, dönüştürücü tabanlı bir Siyam ağı kullanarak çoklu modlu eşleştirmede belirgin iyileştirmeler gösterilmiştir. Bulgularımız, hizalama doğruluğu ve verimlilikteki önemli gelişmeler sağlamış ve önerdiğimiz yaklaşımların etkinliğini teyit etmiştir. Sonuç olarak, bu tez sadece çoklu modlu görüntü çakıştırma konusundaki mevcut sınırlamalara çözümler sağlamakla kalmaz, aynı zamanda gelecekteki yöntemler için potansiyel olan dönüştürücü tabanlı yaklaşımlara da öncülük etmektedir. Tezin, yenilikçi yaklaşımlar ile görüntü çakıştırma tekniklerinin gelişimine sağlam bir temel oluşturduğunu ve karmaşık bilgisayarlı görüş görevlerini çözmede derin öğrenmenin potansiyelini vurguladığını söyleyebiliriz.
Özet (Çeviri)
Multi-modal image registration underpins a multitude of applications, with remote sensing and visual navigation being prominent examples. However, traditional methods, primarily designed for single modality images, falter when confronted with multi-modal registration tasks. Moreover, techniques explicitly developed for multi-modal image registration often lack compatibility with the demands of real-time applications. This gap within the field informs the primary motivation for the present thesis: the development of methods capable of real-time operation and highly precise alignment of different imaging modalities, specifically infrared and optical (visible range) images. In this challenge, we introduce and explore two distinct but promising approaches. Firstly, we implement an image-to-image translation deep network for the conversion of infrared images into their optical counterparts. This conversion facilitates a more robust and accurate keypoint identification and registration, enhancing the overall effectiveness of the image registration process. Secondly, we employ the Swin Transformer encoder, a powerful tool renowned for its superior handling of complex image data. This is further coupled with a cosine loss function to optimize the alignment of images by minimizing angular disparity, further enhancing the accuracy and precision of the registration process. While these approaches are implemented separately in this study, their combined potential represents an exciting prospect for future exploration. The complementary nature of these technologies could provide an integrated, versatile, and efficient solution to the challenges inherent in multi-modal image registration. Our comprehensive simulation studies provide empirical validation of both methods, demonstrating marked improvements in multi-modal registration using a transformer-based Siamese network. Our findings underscore the significant enhancements in alignment accuracy and efficiency, attesting to the effectiveness of our proposed methodologies. In conclusion, this thesis not only provides solutions to the existing limitations of multi-modal image registration but also pioneers separate transformative approaches with the potential for future integration. By presenting innovative methodologies, this thesis establishes a solid foundation for the evolution of image registration techniques and highlights the potential of deep learning in solving complex computer vision tasks.
Benzer Tezler
- Video processing algorithms for wildfire surveillance
Orman yangını gözetleme amaçlı video işleme algoritmaları
OSMAN GÜNAY
Doktora
İngilizce
2015
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. A. ENİS ÇETİN
- Assessment of local muscle deformations using multi-modal imaging and finite element modeling
Lokal kas deformasyonlarının çoklu modalite görüntüleme ve sonlu elemanlar modelleme ile değerlendirmesi
ULUÇ PAMUK
Doktora
İngilizce
2019
Mühendislik BilimleriBoğaziçi ÜniversitesiBiyomedikal Ana Bilim Dalı
PROF. DR. CAN ALİ YÜCESOY
- On edge linking
Kenar bağlama üzerine bir çalışma
EDWARD CHOME
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnadolu ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. CÜNEYT AKINLAR
- Farklı açılardan alınan B-mode ultrason görüntülerinin derin öğrenme teknikleri ile çakıştırılması
Registration of B-mode ultrasound images from different angles with deep learning approach
MAHSA MIKAEILI
Doktora
Türkçe
2023
Elektrik ve Elektronik MühendisliğiGazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HASAN ŞAKİR BİLGE
- Single-image bayesian restoration and multi-image super-resolution restoration for b-mode ultrasound images using an accurate system model
B-mod ultrason görüntüleri üzerinde hassas sistem modeli kullanarak tek-görüntülü bayesçi onarma ve çok-görüntülü çözünürlük-üstü onarma
MİNE CÜNEYİTOĞLU ÖZKUL
Doktora
İngilizce
2019
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiSağlık Bilişimi Ana Bilim Dalı
PROF. DR. ÜNAL ERKAN MUMCUOĞLU