Novel deep learning algorithms for multi-modal medical image synthesis
Çok-kipli tıbbi görüntü sentezi için yeni derin öğrenme algoritmaları
- Tez No: 829228
- Danışmanlar: DOÇ. DR. TOLGA ÇUKUR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 116
Özet
Çoklu kip tıbbi görüntüleme, doku morfolojisi ve işlevi hakkında tamamlayıcı bilgiler sağlayarak çeşitli hastalıkların tanı ve tedavisinde güçlü bir araçtır. Ancak, farklı kip veya kontrastlardan çoklu görüntüler elde etmek çoğu zaman tarama süresi, maliyet ve hasta konforu gibi çeşitli faktörler nedeniyle tatbiki olmayabilir, veya tümüyle imkansız olabilmektedir. Tıbbi görüntü çevirimi, kaynak kip görüntülerine dayanarak hedef kip görüntülerini sentezlemek için umut verici bir çözüm olarak ortaya çıkmıştır. Mevcut olmayan görüntüleri sentezleme yeteneği, çok kipli protokollerinin yaygınlığını ve kullanışlılığını artırırken muayene maliyetlerini ve iyonize radyasyon ve kontrast ajanları gibi toksisite maruziyetini azaltır. Mevcut tıbbi görüntü çevirimi yöntemleri öne çıkan şekilde evrişimli sinir ağları (CNN) omurgalı üretici çekişmeli ağlar (GAN) üzerine kurulmuştur. CNN'ler kompakt filtrelerle yerel işlem yapmak için tasarlanmıştır ve bu model varsayımı sınırlı bağlamsal duyarlılığa eğilimlidir. Bu arada, GAN'ler tek atışlı örnekleme ve görüntü dağılımının dolaylı karakterizasyonu nedeniyle sınırlı örnek sadakati ve çeşitliliğinden muzdariptir. CNN tabanlı GAN modellerinin zorluklarını aşmak için, bu tezde ilk olarak evrişimli ve dönüştürücü modüllerden sinerjik olarak temsilleri birleştiren yenilikçi birikimli artık dönüştürücü (ART) bloklarından yararlanan ResViT'i tanıtıyoruz. Ardından SynDiff'i tanıtıyoruz; büyük difüzyon adımları ve çekişmeli izdüşümler yoluyla gürültüyü ve kaynak görüntülerini hedef görüntünün üzerine ilerleyici bir şekilde eşleyen, görüntü dağılımının doğrudan bir bağıntısını yakalayan ve örnek kalitesini ve hızını iyileştiren koşullu bir difüzyon modeli. ResViT, değişen kaynak-hedef kip yapılandırmaları için ayrı sentez modelleri oluşturma ihtiyacını ortadan kaldırmak için birleştirilmiş bir uygulama sağlarken, SynDiff eşleştirilmemiş veri kümelerinde denetimsiz eğitimi döngüsel tutarlı bir mimari aracılığıyla mümkün kılar. ResViT ve SynDiff'i çok kontrastlı MRI'da eksik dizilerin sentezlenmesinde ve MRG'den BT görüntülerinin sentezlenmesinde gösteriyoruz ve tıbbi görüntü çevirimindeki son teknoloji performanslarını gösteriyoruz.
Özet (Çeviri)
Multi-modal medical imaging is a powerful tool for diagnosis and treatment of various diseases, as it provides complementary information about tissue morphology and function. However, acquiring multiple images from different modalities or contrasts is often impractical or impossible due to various factors such as scan time, cost, and patient comfort. Medical image translation has emerged as a promising solution to synthesize target-modality images given source-modality images. Ability to synthesize unavailable images enhance the ubiquity and utility of multi-modal protocols while decreasing examination costs and toxicity exposure such as ionizing radiation and contrast agents. Existing medical image translation methods prominently rely on generative adversarial networks (GANs) with convolutional neural networks (CNNs) backbones. CNNs are designed to perform local processing with compact filters, and this inductive bias is prone to limited contextual sensitivity. Meanwhile, GANs suffer from limited sample fidelity and diversity due to one-shot sampling and implicit characterization of the image distribution. To overcome the challenges with CNN based GAN models, in this thesis, first ResViT was introduced that leverages novel aggregated residual transformer (ART) blocks that synergistically fuse representations from convolutional and transformer modules. Then SynDiff is introduced, a conditional diffusion model that progressively maps noise and source images onto the target image via large diffusion steps and adversarial projections, capturing a direct correlate of the image distribution and improving sample quality and speed. ResViT provides a unified implementation to avoid the need to rebuild separate synthesis models for varying source-target modality configurations, whereas SynDiff enables unsupervised training on unpaired datasets via a cycle-consistent architecture. ResViT and SynDiff was demonstrated on synthesizing missing sequences in multi-contrast MRI, and CT images from MRI, and their state-of-the-art performance in medical image translation was shown.
Benzer Tezler
- Exploring fusion models in computer vision for medical image computing
Başlık çevirisi yok
DUYGU SARIKAYA
Doktora
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolState University of New York at BuffaloDr. JASON J. CORSO
- Single-frame and multi-frame super-resolution on remote sensing images via deep learning approaches
Derin öğrenme yaklaşımlarıyla uzaktan algılama görüntülerinde tek çerçeve ve çok çerçeve süper çözünürlük
PEIJUAN WANG
Doktora
İngilizce
2022
İletişim Bilimleriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Yüksek çözünürlüklü görüntülerde derin öğrenme tabanlı nesne tespiti için yeni bir önişleme yöntemi geliştirilmesi
Development of a new preprocessing method for deep learning based object detection in high resolution images
MUHAMMED TELÇEKEN
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. DEVRİM AKGÜN
PROF. DR. SEZGİN KAÇAR
- Enhancing deep extreme learning machines: Novel multi-kernel autoencoders and implementation for detecting the chronic obstructive pulmonary disease
Derin aşırı öğrenme makinelerinin geliştirilmesi: Yeni çok çekirdekli autoencoderlar ve kronik obstruktif akciğer hastalığının belirlenmesinde uygulanması
GÖKHAN ALTAN
Doktora
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMustafa Kemal ÜniversitesiEnformatik Ana Bilim Dalı
YRD. DOÇ. DR. YAKUP KUTLU
- Derin öğrenme tabanlı algoritmalar kullanarak fizyolojik işaretlerden uyku skorlaması
Sleep scoring in physiological signals by deep learning-based algorithms
HASAN ZAN
Doktora
Türkçe
2023
Elektrik ve Elektronik MühendisliğiDicle ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ABDULNASIR YILDIZ