Novel deep learning algorithms for multi-modal medical image synthesis
Çok-kipli tıbbi görüntü sentezi için yeni derin öğrenme algoritmaları
- Tez No: 829228
- Danışmanlar: DOÇ. DR. TOLGA ÇUKUR
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Electrical and Electronics Engineering, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Çoklu kip tıbbi görüntüleme, doku morfolojisi ve işlevi hakkında tamamlayıcı bilgiler sağlayarak çeşitli hastalıkların tanı ve tedavisinde güçlü bir araçtır. Ancak, farklı kip veya kontrastlardan çoklu görüntüler elde etmek çoğu zaman tarama süresi, maliyet ve hasta konforu gibi çeşitli faktörler nedeniyle tatbiki olmayabilir, veya tümüyle imkansız olabilmektedir. Tıbbi görüntü çevirimi, kaynak kip görüntülerine dayanarak hedef kip görüntülerini sentezlemek için umut verici bir çözüm olarak ortaya çıkmıştır. Mevcut olmayan görüntüleri sentezleme yeteneği, çok kipli protokollerinin yaygınlığını ve kullanışlılığını artırırken muayene maliyetlerini ve iyonize radyasyon ve kontrast ajanları gibi toksisite maruziyetini azaltır. Mevcut tıbbi görüntü çevirimi yöntemleri öne çıkan şekilde evrişimli sinir ağları (CNN) omurgalı üretici çekişmeli ağlar (GAN) üzerine kurulmuştur. CNN'ler kompakt filtrelerle yerel işlem yapmak için tasarlanmıştır ve bu model varsayımı sınırlı bağlamsal duyarlılığa eğilimlidir. Bu arada, GAN'ler tek atışlı örnekleme ve görüntü dağılımının dolaylı karakterizasyonu nedeniyle sınırlı örnek sadakati ve çeşitliliğinden muzdariptir. CNN tabanlı GAN modellerinin zorluklarını aşmak için, bu tezde ilk olarak evrişimli ve dönüştürücü modüllerden sinerjik olarak temsilleri birleştiren yenilikçi birikimli artık dönüştürücü (ART) bloklarından yararlanan ResViT'i tanıtıyoruz. Ardından SynDiff'i tanıtıyoruz; büyük difüzyon adımları ve çekişmeli izdüşümler yoluyla gürültüyü ve kaynak görüntülerini hedef görüntünün üzerine ilerleyici bir şekilde eşleyen, görüntü dağılımının doğrudan bir bağıntısını yakalayan ve örnek kalitesini ve hızını iyileştiren koşullu bir difüzyon modeli. ResViT, değişen kaynak-hedef kip yapılandırmaları için ayrı sentez modelleri oluşturma ihtiyacını ortadan kaldırmak için birleştirilmiş bir uygulama sağlarken, SynDiff eşleştirilmemiş veri kümelerinde denetimsiz eğitimi döngüsel tutarlı bir mimari aracılığıyla mümkün kılar. ResViT ve SynDiff'i çok kontrastlı MRI'da eksik dizilerin sentezlenmesinde ve MRG'den BT görüntülerinin sentezlenmesinde gösteriyoruz ve tıbbi görüntü çevirimindeki son teknoloji performanslarını gösteriyoruz.
Özet (Çeviri)
Multi-modal medical imaging is a powerful tool for diagnosis and treatment of various diseases, as it provides complementary information about tissue morphology and function. However, acquiring multiple images from different modalities or contrasts is often impractical or impossible due to various factors such as scan time, cost, and patient comfort. Medical image translation has emerged as a promising solution to synthesize target-modality images given source-modality images. Ability to synthesize unavailable images enhance the ubiquity and utility of multi-modal protocols while decreasing examination costs and toxicity exposure such as ionizing radiation and contrast agents. Existing medical image translation methods prominently rely on generative adversarial networks (GANs) with convolutional neural networks (CNNs) backbones. CNNs are designed to perform local processing with compact filters, and this inductive bias is prone to limited contextual sensitivity. Meanwhile, GANs suffer from limited sample fidelity and diversity due to one-shot sampling and implicit characterization of the image distribution. To overcome the challenges with CNN based GAN models, in this thesis, first ResViT was introduced that leverages novel aggregated residual transformer (ART) blocks that synergistically fuse representations from convolutional and transformer modules. Then SynDiff is introduced, a conditional diffusion model that progressively maps noise and source images onto the target image via large diffusion steps and adversarial projections, capturing a direct correlate of the image distribution and improving sample quality and speed. ResViT provides a unified implementation to avoid the need to rebuild separate synthesis models for varying source-target modality configurations, whereas SynDiff enables unsupervised training on unpaired datasets via a cycle-consistent architecture. ResViT and SynDiff was demonstrated on synthesizing missing sequences in multi-contrast MRI, and CT images from MRI, and their state-of-the-art performance in medical image translation was shown.
Benzer Tezler
- Exploring fusion models in computer vision for medical image computing
Başlık çevirisi yok
DUYGU SARIKAYA
Doktora
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolState Unıversıty Of New York At BuffaloDr. JASON J. CORSO
- Beyin tümörü segmentasyonu için yeni bir üç boyutlu U-Net tabanlı derin öğrenme mimarisi
A novel three-dimensional U-Net based deep learning architecture for brain tumor segmentation
AYŞE BAŞTUĞ KOÇ
Doktora
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. DEVRİM AKGÜN
- Yüksek çözünürlüklü görüntülerde derin öğrenme tabanlı nesne tespiti için yeni bir önişleme yöntemi geliştirilmesi
Development of a new preprocessing method for deep learning based object detection in high resolution images
MUHAMMED TELÇEKEN
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. DEVRİM AKGÜN
PROF. DR. SEZGİN KAÇAR
- Single-frame and multi-frame super-resolution on remote sensing images via deep learning approaches
Derin öğrenme yaklaşımlarıyla uzaktan algılama görüntülerinde tek çerçeve ve çok çerçeve süper çözünürlük
PEIJUAN WANG
Doktora
İngilizce
2022
İletişim Bilimleriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Beyin MR görüntüleri üzerinden beyin tümörü tespiti,sınıflandırması ve segmentasyonunda derin öğrenme yöntemlerinin incelenmesi
An investigation of deep learning approaches for brain tumor detection, classification, andsegmentation from brain MRI images
ESMA NUR GÜNEŞER
Yüksek Lisans
Türkçe
2026
Mühendislik BilimleriYıldız Teknik ÜniversitesiMatematik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MERT BAL