Accelerated MRI sampling and reconstruction with reinforcement learning
Pekiştirmeli öğrenme ile hızlandırılmış MRG örnekleme ve geriçatımı
- Tez No: 1017619
- Danışmanlar: Assoc. Prof. Dr. İLKAY ÖKSÜZ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Manyetik Rezonans Görüntüleme (MRG), iyonlaştırıcı radyasyon kullanmaksızın üstün yumuşak doku kontrastı sağlayabilmesi nedeniyle modern klinik tanının vazgeçilmez bileşenlerinden biri hâline gelmiştir. Bilgisayarlı tomografi ve röntgen gibi diğer görüntüleme yöntemlerinden farklı olarak, MRG güçlü manyetik alanlar ve radyofrekans darbeleri aracılığıyla görüntü oluşturduğu için çocuk hastalar, gebeler ve uzun dönem takip gerektiren hasta gruplarında güvenle uygulanabilmektedir. Bunun yanı sıra MRG, doku karakterizasyonunda T1, T2, FLAIR, difüzyon ve perfüzyon ağırlıklı sekanslar gibi birbirini tamamlayan kontrast mekanizmalarını tek bir incelemede sunabilmesi sayesinde nörolojik, kardiyovasküler ve müsküloskeletal hastalıkların tanı ve takibinde başlıca yöntem olarak benimsenmiştir. Ancak MRG'nin sunduğu bu zengin tanısal bilgi, uzun tarama süresi nedeniyle bir bedel ödeyerek elde edilebilmektedir. Bir kardiyak inceleme tipik olarak 45-60 dakika sürebilmekte; bu süre boyunca hasta hareketsiz kalmak zorunda olduğundan hasta konforu, hareketten kaynaklanan görüntü bozulmaları ve klinik merkezlerdeki tarayıcı kullanım verimliliği önemli ölçüde olumsuz etkilenmektedir. Bu sınırlılık, MRG hızlandırma yöntemlerini hem akademik hem de klinik açıdan birinci dereceden bir araştırma önceliği haline getirmektedir. MRG hızlandırma problemi temelde iki birbirine bağlı alt probleme ayrılmaktadır: kısmen edinilmiş k-uzayı verisinden tanısal kalitede görüntü elde etmek (geri çatım problemi) ve sınırlı süre içinde hangi k-uzayı konumlarının ölçüleceğini belirlemek (örnekleme problemi). Geleneksel yaklaşımlar bu iki problemi birbirinden bağımsız ele almakta; sabit ve önceden belirlenmiş örnekleme örüntüleri ile genel amaçlı geri çatım algoritmaları kullanmaktadır. Söz konusu yaklaşımların, bireysel hasta anatomisine, kontrast mekanizmasına ve tanısal hedefe uyum sağlama yeteneğinden yoksun olduğu açıktır. Ayrıca, derin öğrenme tabanlı geri çatım yöntemleri yüksek başarımlarına karşın anatomik olarak makul görünen ancak gerçekte var olmayan yapay yapılar (halüsinasyonlar) üretebilmekte; bu durum, klinik karar verme açısından ciddi bir risk oluşturmaktadır. Bu tezde, MRG hızlandırma problemine güvenilir geri çatım ve uyarlamalı veri edinimi olmak üzere iki kolu birleştiren kapsamlı bir derin öğrenme çerçevesi önerilmektedir. Tez üç ana araştırma ekseni etrafında geliştirilmiştir. İlk eksende, kontrast ve klinik merkez değişkenliğine karşı dayanıklı, halüsinasyon riskini azaltan ve belirsizlik tahmini üretebilen geri çatım yöntemleri sunulmaktadır. İkinci eksende, Kartezyen k-uzayı örneklemesi Markov karar süreci olarak modellenmiş ve pekiştirmeli öğrenme (PÖ) tabanlı uyarlamalı örnekleme politikaları geliştirilmiştir. Üçüncü eksende ise söz konusu uyarlamalı çerçeve, harekete dayanıklı kardiyak görüntüleme için radyal yörüngelere genişletilmiştir. Birinci eksende öncelikle, çoklu kontrast kardiyak MRG geri çatımı için HyperCMR yöntemi sunulmaktadır. HyperCMR, mevcut PromptMR mimarisi temel alınarak geliştirilmiş frekans-farkındalıklı bir optimizasyon yaklaşımı içermekte; özgün olarak tasarlanan Eagle yitim fonksiyonu sayesinde, farklı kontrast mekanizmalarının k-uzayında sergilediği farklı enerji dağılımlarını birlikte ele alabilmektedir. Bu sayede sinüs ve uzay alanında piksel düzeyinde tutarlılığın yanı sıra yapısal ve frekans tabanlı benzerlik de korunabilmektedir. MICCAI 2024 CMRxRecon yarışmasında değerlendirilen HyperCMR yöntemi, çoklu kontrast kardiyak veri kümesinde rekabetçi bir performans sergilemiştir. İkinci yöntem olarak, merkezler arası genelleme problemini hedefleyen HierAdaptMR sunulmaktadır. Farklı klinik merkezlerden gelen MRG verileri arasında tarayıcı üreticisi, alan şiddeti, sarım dizilimi ve protokol farklılıkları nedeniyle alan kayması gözlenmektedir. HierAdaptMR, kurumdan kuruma yeniden eğitim gerektirmeden bu kaymayı telafi edebilmek amacıyla hiyerarşik özellik uyarlayıcıları içermektedir. Uyarlayıcılar, geri çatım ağının farklı seviyelerine yerleştirilen, az sayıda parametre içeren küçük modüllerdir; sayede ana ağın temel ağırlıkları değişmeden hedef merkeze özgü kayma düzeltilmektedir. Önerilen yöntem, MICCAI 2025 CMRxRecon yarışmasında çoklu hastalık değerlendirme görevinde 3.lük, pediatrik değerlendirme görevinde ise 4.lük elde etmiştir. Üçüncü yöntem, uzun-erim zamansal bellek mimarisi, çok bobinli kardiyak sine MRG geri çatımı için geliştirilmiştir. Bu yaklaşım, geri çatımı tek adımlı bir eşleme yerine kademeli bir iyileştirme süreci olarak ele almaktadır. Erken kademeler büyük ölçekli artefaktların giderilmesine, sonraki kademeler ise ince ayrıntıların kazanılmasına odaklanmaktadır. Kademeler arasında uzun-erim zamansal bilgi, dinamik bir hafıza modülü aracılığıyla aktarılmakta; böylece kalp döngüsünün ardışık fazları arasındaki yüksek korelasyon etkin biçimde kullanılmaktadır. Çok-bobinli ileri model ile veri tutarlılığı katmanları, üretilen görüntülerin ölçülen k-uzayı verisiyle uyumlu kalmasını garanti altına almaktadır. Birinci eksenin dördüncü ve son bileşeni, geri çatım güvenilirliği üzerinde doğrudan duran Halüsinasyon-Farkındalıklı Ağ'dır. Bu yöntem, k-uzayı tutarlılık analizi kullanarak her bir kademede oluşan görüntülerde olası halüsinasyon bölgelerini olasılıksal biçimde tahmin etmekte ve aşamalı bir güven zamanlaması ile bu bölgelerde daha temkinli güncellemeler yapmaktadır. Eğitim sırasında, sahte gerçekçi yapılara karşı öz-denetimli bir yitim fonksiyonu ile birlikte tek yönlülük kısıtı kullanılarak halüsinasyon olasılığının kademeler arasında azaldığı garanti altına alınmaktadır. Çıkışta hem geri çatılmış görüntü hem de pikseller bazında uzamsal belirsizlik haritası üretilmektedir; bu haritalar, radyoloğun otomatik geri çatım çıktılarına ne ölçüde güvenebileceğini değerlendirmesine olanak tanımaktadır. İkinci araştırma ekseninde, k-uzayı örneklemesi Markov karar süreci olarak modellenmiş ve dört birbirini tamamlayan PÖ tabanlı uyarlamalı Kartezyen örnekleme yöntemi geliştirilmiştir. İlk olarak, hastaya özgü ivmelenme oranlarını öğrenebilen bir otomatik veri edinim durdurma mekanizması önerilmektedir. Önerilen politika ağı, mevcut PÖ örnekleme yöntemlerinin aksine, sıradaki k-uzayı satırını seçmenin yanı sıra ek bir“durdurma sinyali”üretmekte; geri çatım kalitesi artışı yeterli düzeye indiğinde tarama otomatik olarak sonlandırılmaktadır. Böylece, farklı hastalar ve farklı anatomiler için tek bir sabit ivme oranı yerine veri tabanlı, kişiselleştirilmiş bir ivme uyarlanması sağlanmaktadır. İkinci yöntem, bölütleme-farkındalıklı örnekleme, klinik açıdan kritik bölgelerin geri çatım kalitesini öne çıkaran bir politika ağı geliştirmektedir. Bu yaklaşımda, geri çatılan görüntü bir bölütleme ağı tarafından işlenmekte; üretilen öncelik haritası, politika ağına ek bir giriş kanalı olarak verilmektedir. Sahte-dikkat mekanizması, örnekleme kararlarının kardiyak yapılar üzerinde yoğunlaşmasını teşvik etmekte; ödül fonksiyonu ise bölütleme Dice katsayısındaki değişimi içermektedir. Yöntem, ACDC kardiyak veri kümesi üzerinde değerlendirilmiş ve hem genel görüntü kalitesinde hem de hedef anatomik bölgelerin yapısal benzerliğinde belirgin iyileşmeler sağlamıştır. Üçüncü yöntem, bölgeye özgü sadakat optimizasyonu, uzamsal ve frekans-alanı kalite metriklerini uyarlamalı olarak harmanlayan bir ödül formülasyonu içermektedir. Tek bir global SSIM/PSNR metriği yerine, klinik açıdan önemli bölgeleri (örneğin kalp veya patolojik diz dokusu) ön plana çıkaran, çoklu bölgeli ağırlıklı bir ödül kullanılmaktadır. Buna ek olarak, frekans uzayında düşük-frekans ve yüksek-frekans bileşenlerin uyumu da ödüle dahil edilmektedir. ACDC kardiyak ve fastMRI diz veri kümeleri üzerinde elde edilen sonuçlar, önerilen yöntemin hem global hem de bölgesel metrikler açısından önceki PÖ tabanlı örnekleme yöntemlerini geride bıraktığını göstermektedir. İkinci eksenin son yöntemi, çift-alanlı (dual-domain) politika mimarisi, beyin MRG'sinin çoklu kontrast yapısına uyarlamalı örnekleme stratejileri üretmek için geliştirilmiştir. Bu mimaride iki paralel kol bulunmaktadır: bir kol karmaşık-değerli k-uzayı ölçümlerini işlerken, diğer kol ters Fourier dönüşümü ile elde edilen görüntü-uzayı özniteliklerini işlemektedir. İki dal arasındaki bilgi akışı, çapraz-dikkat füzyon modülü aracılığıyla sağlanmaktadır. Bu sayede her kontrast (FLAIR, T1, T1ce, T2) için kendi enerji dağılımına uygun örnekleme örüntüleri öğrenilmektedir. BraTS2021 veri kümesi üzerinde yapılan değerlendirmeler, çift-alanlı politika ağının hem rastgele örneklemeye hem de değişken-yoğunluklu ve LOUPE temelli öğrenmeli yöntemlere kıyasla tüm modaliteler ve hızlandırma oranlarında üstün performans sergilediğini ortaya koymaktadır. Ayrıca, geri çatılan görüntülerin tümör bölütleme görevindeki klinik yararlılığı da Dice skoru ile değerlendirilmiş ve önerilen yöntemin klinik amaçlı kullanım için yeterli kalite sağladığı gösterilmiştir. Üçüncü araştırma ekseninde, uyarlamalı örnekleme çerçevesi Kartezyen olmayan radyal yörüngelere genişletilmektedir. Radyal örnekleme, özellikle kardiyak görüntülemede k-uzayı merkezinin sık aralıklarla yeniden örneklenmesi sayesinde harekete karşı doğal bir dayanıklılık sunmakta; bu özellik nefes tutma kabiliyeti sınırlı hasta gruplarında büyük önem taşımaktadır. Bu eksende, çift-dallı bir aktör-eleştirmen mimarisi geliştirilmiş; politikalar hem k-uzayı ölçümlerinden hem de görüntü-uzayı özniteliklerinden eşzamanlı olarak yararlanacak şekilde tasarlanmıştır. Sıradaki radyal kolun açısı, altın oran modülasyonlu açısal kodlama aracılığıyla seçilmekte; bu seçim, k-uzayının kümülatif örtüsünü uzun vadede üniform tutmakta ve özellikle yüksek hızlandırma oranlarında dahi açısal yığılma artefaktlarını sınırlamaktadır. Ödül fonksiyonu, hem global geri çatım kalitesini hem de kardiyak bölgeye özgü anatomik sadakati birlikte vurgulamaktadır. ACDC veri kümesi üzerinde elde edilen sonuçlar, önerilen yöntemin sabit altın açı ve diğer öğrenmeli olmayan radyal stratejilere kıyasla SSIM, PSNR ve Dice katsayısı açısından kayda değer iyileşmeler sağladığını göstermektedir. Bu çalışma, pekiştirmeli öğrenmenin Kartezyen olmayan MRG veri edinim optimizasyonuna uygulanmasına yönelik ilk örneklerden biridir. Önerilen tez, beş kamuya açık veri kümesi üzerinde kapsamlı biçimde doğrulanmıştır: kardiyak görüntüleme için ACDC, OCMR ve CMRxRecon; beyin görüntüleme için BraTS2021; diz görüntüleme için fastMRI. Bu veri kümeleri farklı anatomiler, kontrast mekanizmaları, tarayıcı üreticileri ve klinik merkezleri kapsamakta; böylece hem anatomiler arası hem de merkezler arası genelleme kapasitesinin sınanmasına imkan tanımaktadır. Hızlandırma oranları 4×'ten 10×'a kadar uzanan geniş bir aralıkta incelenmiş; önerilen yöntemlerin yüksek ivme oranlarında dahi geri çatım sadakatini ve tanısal yararı koruduğu gösterilmiştir. Sonuç olarak, bu tez, MRG hızlandırma probleminin geri çatım güvenilirliği, zamansal kısıtlar altında uyarlamalı veri edinimi ve klinik önceliklerle uyumlu optimizasyon olmak üzere üç temel boyutuna birlikte yanıt veren bütünleşik bir derin öğrenme çerçevesi sunmaktadır. Belirsizlik karakterizasyonu içeren güvenilir geri çatım yöntemlerinden, veri ediniminin ne zaman sonlandırılacağına ilişkin öğrenilebilir kararlara, çok-alanlı temsiller yoluyla bilgilendirici ölçümlerin seçimine ve nihayet standart Kartezyen örüntülerin ötesindeki geometrik genişletmelere uzanan bu ilerleme, hasta-özgü ve göreve-uyumlu MRG sistemlerinin önünü açmaktadır. Geliştirilen yöntemlerin tamamı açık kaynak olarak yayımlanmış olup, hem yeniden üretilebilir araştırmaya hem de gelecekteki klinik aktarıma katkı sağlamayı amaçlamaktadır. Önerilen yapı, tanısal güveni ve geri çatım sadakatini korurken tarama süresinde anlamlı kısalmalar sağlayabilecek yeni nesil MRG sistemleri için temel yapı taşları sunmaktadır.
Özet (Çeviri)
Magnetic Resonance Imaging stands as a cornerstone of modern clinical diagnostics due to its superior soft tissue visualization achieved without radiation exposure. However, the technology faces a persistent challenge. Scan durations remain prohibitively long, leading to patient discomfort, motion-induced image degradation, and reduced throughput in clinical facilities. This work tackles MRI acceleration through a dual-pronged approach, developing deep learning solutions for both reliable image reconstruction and intelligent data acquisition strategies. Conventional MRI workflows rely on predetermined sampling schemes that remain static regardless of individual patient anatomy or specific diagnostic requirements. Moreover, existing reconstruction algorithms frequently lack safeguards against generating artifacts that appear anatomically plausible but are fictitious. We propose an alternative paradigm. Our framework integrates reconstruction methods designed for robustness and generalization with acquisition policies that adapt sampling decisions based on evolving information during the scan process. The thesis develops solutions across three major research thrusts. The reconstruction component addresses fundamental reliability concerns through multiple complementary techniques. We begin with HyperCMR, which employs frequency-aware optimization to handle diverse cardiac imaging protocols. HierAdaptMR follows, introducing hierarchical adaptation mechanisms that enable deployment across different clinical sites without requiring institution-specific retraining. We then present a temporal memory architecture that treats reconstruction as a progressive refinement task, transitioning from artifact removal in early stages to detail recovery in later iterations. The Hallucination-Aware Network represents our approach to reconstruction reliability, utilizing k-space consistency analysis and progressive confidence scheduling to detect and suppress spurious structures while generating spatial uncertainty maps. These methods demonstrate effectiveness across multiple anatomies including cardiac, brain, and knee imaging, with strong performance in the MICCAI CMRxRecon Challenge series, achieving 3rd place in multi-disease assessment and 4th place in pediatric evaluation tasks. Building on these reconstruction advances, we address the acquisition problem through reinforcement learning applied to Cartesian sampling patterns. The framework incorporates several innovations. An automatic stopping mechanism learns when sufficient data has been collected for individual patients. Segmentation-guided policies direct sampling toward anatomically relevant regions through attention-based weighting. We balance reconstruction fidelity across spatial and frequency domains via adaptive metric combination. Finally, dual-domain policy architectures leverage both k-space measurements and image-space features to generate modality-appropriate sampling patterns. Experiments span cardiac datasets such as OCMR, ACDC, and CMRxRecon, alongside knee data from fastMRI and brain acquisitions from BraTS2021, demonstrating improved reconstruction and segmentation outcomes across acceleration rates ranging from 4× through 10×. The framework extends beyond Cartesian trajectories to radial acquisition geometries, which provide inherent advantages for cardiac imaging through motion resilience. A dual-branch architecture processes measurements and images through cross-attention mechanisms. Golden-ratio angular encoding ensures comprehensive k-space sampling. The reward formulation emphasizes both global reconstruction metrics and cardiac-specific anatomical accuracy. This represents an early demonstration of reinforcement learning applied to non-Cartesian MRI acquisition optimization. This research establishes methodologies spanning reconstruction trustworthiness, adaptive data collection under temporal constraints, and optimization aligned with clinical priorities. The progression moves from foundational reconstruction with uncertainty characterization, through decisions about acquisition termination, to selection of informative measurements using multi-domain representations, culminating in geometric extensions beyond standard Cartesian patterns. These contributions provide building blocks for next-generation MRI systems capable of substantial scan time reduction while maintaining reconstruction fidelity and diagnostic confidence.
Benzer Tezler
- Federated MRI reconstruction with deep generative models
Derin üretken modeller ile federe MRG rekonstrüksiyonu
GÖKBERK ELMAS
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. TOLGA ÇUKUR
- Diffusion bridges for MRI reconstruction
MRG rekonstrüksiyonu için difüzyon köprüleri
MUHAMMAD USAMA MIRZA
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. TOLGA ÇUKUR
- Rapid reconstruction for parallel magnetic resonance imaging with non-cartesian variable-density sampling trajectories
Değişken yoğunluklu kartezyen olmayan paralel manyetik rezonans görüntülemede hızlı geriçatım
CELAL FURKAN ŞENEL
Yüksek Lisans
İngilizce
2020
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. TOLGA ÇUKUR
- Assessment of undersampling strategies for accelerated multi-shell diffusion MRI
Hızlandırılmıs ̧çoklu-kabuk difüzyon MRG için alt-örnekleme stratejilerinin değerlendirilmesi
ELİF AYGÜN
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. EMİNE ÜLKÜ SARITAŞ ÇUKUR
- Physics-constrained unsupervised deep learning for accelerated diffusion mri
Hızlandırılmış difüzyon mrg için fizik kısıtlamalı denetimsiz derin öğrenme
ATAKAN TOPCU
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. EMİNE ÜLKÜ SARITAŞ ÇUKUR