Geri Dön

Diagnosing knee injuries from mri with transformer based deep learning

Transformer tabanlı derin öğrenme ile mr görüntülerinden diz hastalıklarının tespiti

PDF İndir

  1. Tez No: 1015606
  2. Yazar: GÖKAY SEZEN
  3. Danışmanlar: DOÇ. DR. İLKAY ÖKSÜZ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Mühendislik Bilimleri, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Engineering Sciences, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Teknolojinin bazı hastalıkların ve rahatsızlıkların tespiti ve tedavisi konusunda artan kullanımı, sağlık sektörü açısından önemli bir gelişmedir. Sağlık sorunlarının çözümleri için otomasyon sistemleri, sağlık çalışanlarına yardımcı olarak hastalıkların ve tedavilerin sürecinin kolaylaşmasını sağlamaktadır. Bu anlamda insanlar tarafından geliştirilen birçok teknolojik yenilik sağlık sektörüne hizmet etmektedir. Sensörler, giyilebilir cihazlar, 3 boyutlu baskı, robotik ve yapay zeka, sağlık hizmetleri dünyasına yardımcı olacak devrim niteliğindeki teknolojik çözümlerden bazılarıdır. Teknolojinin sağlık alanında faydalı olabileceği en önemli görevlerden biri hastalık veya yaralanmaları teşhis etmektir. Yapay zeka tabanlı yaklaşımlar, sağlık sorunlarının teşhisinde önemli ölçüde yardımcı çözümler sağlayabilir. Örneğin, kanser hücrelerini, beyin tümörlerini ve doku hastaklıklarını tespit etmek için üretilen yapay zeka sistemleri vardır. Son zamanlardaki Covid-19 gibi virüsleri akciğer görüntülerine bakarak tespit etmede yapay zeka yöntemleri kullanılmaktadır. Büyük veri ortamı sayesinde araştırmacılar yapay zeka sistemlerini geliştirmek için daha fazla veriye kolayca ulaşabilmektedir. Ne kadar nitelikli veri bulunursa, o kadar çok çalışma yayınlanabilir ve tıp alanı için daha iyi yapay zeka modelleri elde edilebilir. Yapay zeka modellerinde kullanılan verilerin en önemlilerinden biri Manyetik Rezonans (MR) görüntüleridir. MR tekniği, kemiklerin ve yumuşak dokuların yüksek çözünürlüklü görüntülerinin manyetik alanlar ve radyo dalgaları kullanılarak MR ekipmanı tarafından yakalandığı bir tekniktir. Genellikle vücuttaki yumuşak dokuları tespit etmek için tercih edilir. MR, daha iyi analiz edilebilen ve daha güvenilir bilgiler elde edilebilen yüksek kaliteli üç boyutlu görüntüler oluşturur. Fakat hastaların MR görüntüleri birbirinden önemli ölçüde farklılık gösterebilir ve bu da sağlık çalışanları için hastalığı değerlendirmeyi zorlaştırır. Bu nedenle, MR taramalarının manuel analizi zaman alıcı ve hataya açık olabileceğinden otomatik bir destekleyici sistemin varlığı önem teşkil etmektedir. Bu tezde, diz hastalıklarının otomatik tespiti için açık bir diz MR veri seti kullanarak geliştirdiğimiz yöntemleri öneriyoruz. MR verilerini kullanarak dizlerde yırtılma tespiti gerçekleştirmek için bir ağ yapısı fikri geliştiriyoruz. Evrişimli sinir ağları (CNN) ve transformer tabanlı ağlar, çoklu görüntüleri bir arada değerlendirmek üzere kullanılır. Farklı ağ mimarileri, MR görüntülerinin ayrı ayrı ve birlikte kullanılmasıyla eğitilmiş ve performansları karşılaştırılmıştır. Transformer bloklarının eğitime olan katkısını ispat etmek için bir çalışma gerçekleştirilmiştir. Ayrıca, diz yaralanmalarını teşhis ederken veri setindeki dengesizlik sorununun nasıl yönetileceğini görmek için farklı dengesizlik veri seti yaklaşımlarını karşılaştırılmıştır. Bu çalışmada 1370 adet MR örneğinden oluşan üç boyuta sahip bir veri seti kullanılmıştır. Her boyut kendi içerisinde ardaşık MR dilimlerinden oluşur. Veri seti üç adet diz hastalığının etiketine sahiptir: ön çapraz bağ yırtığı, menisküs ve genel anormallik. MRNet veri setini kullanarak bu üç diz hastalığının teşhisi için bir mimari öneriyoruz. ResNet ve transformer blokları iki farklı ağı eğitmek için kullanılır ve karşılaştırılır. Çoklu görüntülerden özellikleri çıkarmak için ResNet'i kullanıyoruz. Transformer yapısı, sıralı verilerin anlamsal özelliklerini çıkarmak için kullanılan derin bir sinir ağıdır. Dilim görüntüleri ardışıktır ve herhangi bir görüntü kendisinden önceki ve sonrakine önemli ölçüde benzer ve ilişkilidir. Bu nedenle, her iki model için de dilimler, bir videonun kareleri gibi bir dizi görüntü olarak ele alınır ve aralarındaki ilişki incelenir. İlk olarak ResNet ve transformer bloklarına sahip birleşik model adını verdiğimiz model, tüm MR görüntülerinin hem boyutlar arası hem de dilimler arası ilişkisini tek seferde öğrenmek ve direkt olarak hastalığın tespitini yapmak için tasarlanmıştır. Üç adet birbirinin aynısı ResNet ve transformer bloklarından oluşan model, üç farklı açıya sahip MR dilimlerini işler ve en sonda bir sinir ağıyla bu bilgileri birleştirerek tek bir sonuç elde eder. Transformer blokları, ResNet bloklarından her bir dilim için çıkarılan özellik vektörlerini alarak aralarındaki sıralı ilişkiyi değerlendirir ve bu şekilde bilgiyi son katmana iletir. İkinci olarak yine aynı ResNet ve transformer bloklarından oluşan ayrık model adını verdiğimiz diğer modelimiz, üç farklı MR açısını farklı farklı eğitip daha sonradan bu üç networkün çıktılarını ayrı bir lojistik regresyon ağıyla eğiterek tek bir çıkarıma varır. Ayıca transformer bloklarının eğitime etkisini analiz etmek için ayrık ağ mimarisi üzerinde bir çalışma gerçekleştirilmiştir. Transformer blokları kaldırılır ve transformer bloklarının etkinliğini dilim MR görüntüleri üzerinde görmek ve sonuçları karşılaştırmak için ağ sadece ResNet katmanları ile eğitilir. Modellerin performans sonuçları incelendiğinde, her MR boyutu için ayrı ayrı eğitilen ve daha sonra lojistik regresyon ile birleştirilen ayrık model, boyutların ortak kombinasyonu ile eğitilen birleşik ağ modelinden daha iyi performans metrikleri ürettiği gözlemlenmiştir. Boyutların tek tek değerlendirilmesinin görüntülerin anlamsal özelliklerini anlamada ve etiketlerle ilişkilendirmede yardımcı olduğu söylenebilir. Analizler sonucu, transformer bloklarının çıkarılıp yalnızca ResNet ile eğitilen model, hem ResNet hem transformer bloklarıyla eğitilen modelin performans olarak gerisinde kalmıştır. Transformer bloklarının MR dilimleri arasındaki ilişkiyi daha iyi öğrenmede ve yaralanma vakaları hakkında daha kesin karar vermede yardımcı olabileceği söylenebilir. Ek olarak kullanılan veri setindeki etiketler dengesiz olduğundan, daha iyi modeller üretebilme amacıyla dengesiz veri seti problemlerinin çözümleri için yöntemler karşılaştırılmıştır. Kullanılan veri setindeki diz anormallik hastalık sınıfı, 1104 pozitif ve 266 negatif örnek olmak üzere en dengesiz sınıf örneklerine sahiptir. Bu nedenle, dengesiz veri seti problemini farklı tekniklerle ele almak için sadece anormallik diz hastalık sınıfı seçilmiştir. Kullanılan yöntemler“aşırı-alt örnekleme ile veri kümesi dengeleme”ve“kayıp fonksiyonları”olarak iki kategoriye ayrılabilir. Modelin karar verirken çoğunluk sınıfı örnekleri lehine fazladan yönlenmesini önlemek için, etiketlerini dikkate alarak verileri manipüle edebiliriz. Elimizdeki veri setine aşırı ve alt örnekleme teknikleri uygulayarak ek olarak iki farklı veri seti daha elde ediyoruz ve bunları karşılaştırıyoruz. Alt örnekleme veri seti çoğunluk örneklerinin çıkarılıp azınlık örnekleriyle sayılarının eşitlenmesiyle elde edilir. Arttırılmış veri seti ise azınlık örneklerine çeşitli görüntü arttırma teknikleri uygulayarak sayılarının arttırılıp çoğunluk örneklerle eşitlenmesiyle elde edilir. Kayıp fonksiyonları için, sınıflandırma problemlerinde sıklıkla kullanılan ikili çapraz düzensizlik kayıp fonksiyonu ile düzensiz veri setleri için kullanılan focal kayıp fonksiyonu kullanılarak karşılaştırılır. Focal kayıp fonksiyonu model tarfından zor tahmin edilmeye yatkın örneklere daha fazla dikkat ederek bunların model tarafından öğrenilmesini kolaylaştırır. Dengesiz veri seti problemi için yapılan üç adet veri seti ve iki adet kayıp fonksiyonlarının kombinasyonlarıyla elde edilen altı adet farklı model eğitilerek karşılaştırılmıştır. Arttırılmış veri kümesiyle yapılan eğitim, diğer veri kümesi varyantlarına kıyasla genel olarak her iki kayıp işleviyle en iyi performans puanlarını elde eder. Kullanılan veri setinde az sayıda veri örneği olduğundan, daha fazla veri üreterek modellerin daha doğru öğrenebildiği ve daha iyi sonuçlar verebildiği görülmüştür. Focal kayıp fonksiyonuna sahip modeller, tüm veri setleri kombinasyonları ile ikili çapraz entropi kaybına kıyasla daha iyi başarım puanları elde etmiştir. Focal kayıp fonksiyonunun hem dengesizlik problemini ele alarak hem de öğrenmesi zor örnekleri göz önünde bulundurarak azınlık sınıf örneklerini daha iyi öğrenebildiği ve daha doğru sonuçlar verdiği söylenebilir.

Özet (Çeviri)

Automation systems for the solutions of health problems help health workers and facilitate the process of diseases and treatments. One of the most important tasks in which technology can be useful in healthcare is diagnosing illness or injury. Artificial intelligence-based approaches can provide significantly helpful solutions in diagnosing health problems. Magnetic Resonance (MR) images are one of the data used in artificial intelligence models. MRI is a technique in which high-resolution images of bones and soft tissues are captured by MRI equipment using magnetic fields and radio waves. MR images of patients can differ significantly from each other, making it difficult for healthcare professionals to assess the disease. Therefore, the presence of an automated support system is important, as manual analysis of MR scans can be time-consuming and error-prone. We propose our developed methods for the automatic detection of knee diseases using an open knee MR dataset in this thesis. We develop a network structure idea for performing knee tear detection using MR data. CNN and transformer-based networks are used to evaluate multiple images together. Two different network architectures are trained and their performances are compared by using MR images separately and together. A study was carried out to prove the contribution of transformer blocks to education. We also compared different imbalance dataset approaches to see how to manage the imbalance problem in the dataset when diagnosing knee injuries. In this research, a three-dimensional dataset consisting of 1370 MR samples was used. Each dimension consists of consecutive MR slices. The dataset has labels for three knee diseases: anterior cruciate ligament tear, meniscus, and general abnormality. The model, which we first call the combined model with ResNet and transformer blocks, is designed to learn the interdimensional and interslice relationship of all MR images at once and to detect the disease directly. Consisting of three identical ResNet and transformer blocks, the model processes MR slices with three different angles and finally combines this information with a neural network to produce a single result. Transformer blocks take feature vectors extracted from ResNet blocks for each slice, evaluate the sequential relationship between them, and transmit the information to the last layer in this way. Secondly, our other model, which we call the separate model consisting of the same ResNet and transformer blocks, trains three different MR angles differently and then trains the outputs of these three networks with a separate logistic regression network to arrive at a single inference. In addition, a study was carried out on the separate network architecture to analyze the effect of transformer blocks on training. The transformer blocks are removed and the network is trained only with ResNet layers to see the efficiency of the transformer blocks on slice MR images and compare the results. When the performance results of the models were examined, it was observed that the separate model trained for each MR dimension separately and then combined with logistic regression produced better performance metrics than the combined network model trained with a common combination of dimensions. As a result of the analysis, the model trained with only ResNet after removing the transformer blocks fell behind the model trained with both ResNet and transformer blocks in terms of performance. Since the labels in the dataset used are imbalanced, the methods for solving the imbalanced dataset problems are compared to produce better models. Since the abnormality disease class is the most imbalanced, only the abnormal knee disease class was chosen to address the imbalanced dataset problem. By applying oversampling and undersampling techniques to the dataset we have, we additionally obtain two different datasets and compare them. For the loss functions, the binary cross entropy loss function, which is often used in classification problems, is compared using the focal loss function, which is used for imbalanced datasets. After comparing the combination of all datasets and loss functions, training with the augmented dataset achieves the best performance scores with both loss functions compared to other dataset variants. Also, models with focal loss function achieved better performance scores with all dataset combinations compared to binary cross entropy loss.

Benzer Tezler

  1. Tez No

    628865

    Artroskopik rotator cuff tamiri yapılan hastalarda preop MRG ve fizik muayene bulgularının; özgüllüğünün-duyarlılığının değerlendirilmesi ve intraop bulgular ile karşılaştırılması

    Preoperative mri̇ and physical examination findings;evaluation of specifity-sensitivity and comparison with intraoperative findings in patients undergoing arthroscopic rotator cuff repair

    EMRE ARIKAN

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2020

    Ortopedi ve TravmatolojiBolu Abant İzzet Baysal Üniversitesi

    Ortopedi ve Travmatoloji Ana Bilim Dalı

    YRD. DOÇ. DR. YASİN EMRE KAYA

  2. Tez No

    684443

    Medial plika sendromunun tanısında MRG tanı kriterlerinin araştırılması ve eşlik eden patolojilerin incelenmesi

    The investigation of the diagnostic MRI criteria in the diagnosis of medial plica syndrome, and the analysis of associating pathological conditions

    CENK PARLATAN

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2021

    Radyoloji ve Nükleer TıpSağlık Bilimleri Üniversitesi

    Radyoloji Ana Bilim Dalı

    PROF. DR. BOZKURT GÜLEK

  3. Tez No

    660673

    Ön çapraz bağ yaralanmasına eşlik eden menüsküs yırtıklarının gelişimde diz anatomisi rol oynar mı ? Manyetik rezonans görüntüleme çalışması

    Does knee anatomy play a role in the development of menuscular tears accompanying anterior cruciate ligament injury? : Magnetic resonance imaging study

    ÖMER FARUK YILMAZ

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2020

    Ortopedi ve TravmatolojiSağlık Bilimleri Üniversitesi

    Ortopedi ve Travmatoloji Ana Bilim Dalı

    DR. EVREN AKPINAR

    DOÇ. ENGİN ÇETİNKAYA

  4. Tez No

    738622

    Posterior tibial slope açısının medial menisküs posterior horn ve ön çapraz bağ yırtıkları ile ilişkisi

    The relationship of posterior tibial slope angle with medial meniscus posterior horn and anterior cruciate ligament tears

    MUHAMMED SAMİ ÇOBAN

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2022

    Radyoloji ve Nükleer TıpSüleyman Demirel Üniversitesi

    Radyoloji Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ DEMET GÜNDÜZ

  5. Tez No

    829220

    Diz MRI görüntüleri üzerinde veri artırım teknikleri kullanılarak derin öğrenme tabanlı yaralanma tespiti

    Deep learning-based injury detection using data augmentation techniques on knee MRI images

    ELİF NUR KÜÇÜK

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. AYBARS UĞUR

Geri Dön