Classification of knee osteoarthritis severity using deep learning with fully supervised and semi-supervised-based approaches
Derin öğrenme ile tamamen denetimli ve yarı-denetimli yaklaşım tabanlı diz osteoartrit şiddetinin sınıflandırılması
- Tez No: 886696
- Danışmanlar: DOÇ. DR. İLKAY ÖKSÜZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 100
Özet
Osteoartrit (OA) dünyada en sık görülen kemik hastalıklarındandır ve diz osteoartriti osteoartritin en sık rastlanan formudur. Kemik uçlarında kaygan kıvamı ile eklemde sürtünmeyi azaltan kıkırdak dokusunun zamanla incelmesi ve hatta yok olması kemiklerin doğrudan birbirine sürtünmesine sebep olur. Bunun sonucunda eklemlerde meydana gelen şişlik, ağrı ve hareket kısıtlılığı gibi belirtiler kişilerin yaşam kalitesini önemli ölçüde bozan ve günlük aktivetelerini engelleyen bir sağlık sorunu oluşturur. Bu durum; hastaların tıbbi tedavi maliyetleri, kişilerin günlük aktivelerini yerine getirememesiyle ortayan çıkan bakım ihtiyacı, iş gücü kaybı, engelli yardımları ve ekonomik verimlilik kaybı gibi farklı şekillerde toplum için büyük bir ekonomik yükü de beraberinde getirmektedir. Osteoartritin kişilerde ve toplumda sebep olduğu bu zararları hafifletmek için hastalığın ilerlemesini yavaşlatmak veya en azından gelecekteki sakatlık etkisini azaltmak mümkündür. Bu, hastalığın aşamalarının sistematik olarak teşhis edilmesini gerektirmektedir. Diz OA'sının teşhisi için Radyografi (X-Işını), Manyetik Rezonans Görüntüleme (MRI), Ultrason (USG) ve Bilgisayarlı Tomografi (BT) gibi tıbbi görüntüleme yöntemleri kullanılabilir. Diz eklemlerinin MRI cihazlarıyla elde edilen üç boyutlu görüntüsü, dizdeki yapısal bozuklukları detaylı olarak yansıtılabilir. Ancak, MRI cihazlarının yalnızca büyük tıp merkezlerinde bulunması ve yüksek maliyeti sebebiyle diz OA'sı teşhisinde kullanımı çok yaygın değildir. Bu sebeple diz OA teşhisinde genellikle radyografi tercih edilmektedir. Fakat OA değişikliklerini saptamaya çalışırken radyografinin yetersiz olduğu durumlar vardır. Bunun nedenleri arasında, radyografi ile gözlemlenebilen kıkırdak dejenerasyonu, kıkırdak aşınması, eklem aralığının daralması ve kemik değişikliklerinin değerlendirilmesinin, diz OA evresi hakkında dolaylı bilgi sunması yer alır. Bu nedenle, radyografinin doğru bir şekilde yorumlanabilmesi için deneyimli bir radyolog gereklidir. Ayrıca, eklemdeki değişikliklerin değerlendirilmesi üç boyutlu bir problem olduğu halde, radyografi yalnızca iki boyutlu görüntüler sağlar. Radyografinin yetersiz olduğu durumlar dışında, diz OA'sı tespitini zorlaştıran başka nedenler de vardır. Örneğin, OA'nın evrelerini belirlemek için net bir derecelendirme sistemi bulunmaması, tanı sürecinin radyologların kişisel değerlendirmelerine bağlı kalmasına neden olmaktadır. Yaygın olarak kullanılan Kellgren-Lawrence (KL) ölçeği, yarı nicel bir sistemdir ve bu da radyologlar arasında farklı yorumlara yol açar. Bu tutarsızlıklar, hastalığın evresinin doğru bir şekilde belirlenmesini zorlaştırır ve tedavi sürecini etkiler. Sonuç olarak, dünya genelinde milyonlarca insan bu sorundan etkilenmektedir. Bu nedenle, diz OA'nın evresini belirlemek ve erken tanı koymak klinik pratikte zordur. Öte yandan şu anda hastalığın yaygınlığı, hastalığın doğru bir şekilde tespit edilmesi ve boyutunun ölçülebilmesi konusunda acil bir ihtiyaç doğurmaktadır. Son zamanlarda, yapay zeka destekli bilgisayar uygulamalarının gelişmesiyle literatürde bu ihtiyaca yönelik çalışmalar yapılmaktadır. Bu çalışmalarla hastalığın evresi ile ilgili doktorların yaşadıkları fikir ayrılıklarını azaltılması, hastalığın evrelerinin doğru tanımlanarak erken teşhisinin hızlandırılması amaçlanmıştır. Bu çalışmada, derin öğrenme tabanlı yöntemlerin radyalogları kararlarında desteklemek için objektif bir araç olarak kullanılabileceğine ve diz OA tanısının önemli ölçüde iyileştirilebileceğine inanılmıştır. Bu sebeple tez kapsamında, diz X-ray görüntülerinden diz OA'sının evrelerini belirlemek üzere, derin öğrenme tabanlı yöntemler sunulmaktadır. Görüntü tanıma ve sınıflandırma problemlerinde yaygın olarak kullanılan Evrişimli Sinir Ağları (CNN) çeşitli hastalık teşhisi sistemlerinde çığır açıcı sonuçlar ortaya koymuştur. Bu modellerin pek çok alanda insan düzeyine erişen performansları, klinik uygulamalarda kullanımının yakın gelecekte daha da yaygınlaşacağını açıkça göstermektedir. CNN'ler, teşhise ait özellikleri görüntülerden otomatik olarak öğrenir. Fakat bu modellerin eğitilmeleri esnasında görüntünün doğru özelliklerine odaklanması çoğu zaman büyük etiketli veri kümelerinin varlığına bağlıdır. Bu durum, başarılı otomatik teşhis sistemleri oluşturulmasında en büyük engellerden biridir. Çünkü tıbbi görüntülerin etiketlenmesi sadece uzmanlar tarafından gerçekleştirilebilen maliyetli bir işlemdir. Bu çalışmada, derin öğrenme yöntemlerini farklı veri senaryolarına uyarlamanın, literatürdeki çeşitli veri senaryoları için daha başarılı modeller geliştirilmesine katkı sağlayacağı düşünülmüştür. Bu sebeple bu çalışmada sunulan yöntemler etiketli veri sayısının yeterli olduğu ve yeterli olmadığı senaryolar üzerine inşa edilmiştir İlk olarak, kullanılan etiketli veri sayısının nispeten yeterli olabileceği durumlar için, tamamen denetimli öğrenme yöntemleri uygulanmıştır. Bu kısımda, literatürde eskiden beri yaygın olarak kullanılan ResNet, DenseNet , EfficientNet gibi modellerin yanında yanında ConvNeXt gibi daha güncel modellerin de ImageNet verisi ile eğitilmiş versiyonlarını halka açık OAI veriseti ile ince ayarı(fine-tune) yapılmıştır. Bunun yanında ince ayar esnasında, kategorik çapraz entropi kaybı fonksiyonu ile sıralı kayıp fonksiyonu kullanılmıştır. Sıralı kayıp fonksiyonu ile ince ayar yapılmış ConvNeXt V2-Tiny modeli , OAI test veri üzerinde %73.91 doğruluk skoru ve %73.77 F1-skoruyla en iyi sonuçları vermiştir. ConvNeXt V1-Base modeli 0.28 skoruyla Ortalama Mutlak Hatası (MAE) metriğinde en iyi sonucu vermiştir. Tek bir merkezden toplanmış, kısıtlı miktarda etiketli verinin olduğu senaryo için ise yine tamamen denetimli yöntemler kapsamında iki aşamalı ince-ayar yöntemi kullanılmıştır. Çoklu merkezden toplanan, daha çeşitli X-ray verilerini bulunduran ve daha büyük boyuttaki halka açık OAI veriseti, KL evreleri hakkında daha fazla temsil sunmaktadır.Bu nedenle, mevcut OAI veriseti kullanılarak ince ayar yapılmış ve önemli temsiller içeren modellere, daha küçük boyuttaki hastane verilerini kullanarak tekrar ince ayar yapılmıştır. OAI verisetinden öğrenilen temsillerin kaybolmaması için, ikinci aşamada modelin son yüz katmanı hariç tüm katmanları dondurulmuştur. Son yüz katmanda da yeni veriye ait özelliklerin öğrenilmesi sağlanmıştır. İki-aşamalı ince-ayar metodu, tüm modeller için daha yüksek performans skorları sağlamıştır. En iyi model performansı, %70.86 doğruluk skoru, %71.35 F1-skoru ve 0.30 MAE skoru ile yine ConvNeXt V1-Base modeline aittir. Bu adımda, modellerin performansını değerlendirmek için ek olarak, sınıflar arası olasılık dağılımını da dikkate alarak daha şeffaf bir performans ölçüsü olarak kabul edilen güncel sa-RPS metriği de kullanılmıştır. ConvNeXt V1-Base modeli, sa-RPS metriği için de 0.029 skoruyla, diğer modellere kıyasla en iyi performansı sergilemiştir. Etiketsiz verinin etiketli veriden çok olduğu senaryolar için ise, her iki tür veriyi kullanarak yarı denetimli bir yöntem önerilmiştir. Bu aşamada, etiketsiz X-ray verilerini kullanarak Karşılaştırmalı Öğrenme'ye(CL) dayanan bir ön eğitim sürecinde öğrenilen temsilleri, küçük miktarda etiketli veri ile gerçekleştirilen denetimli ince ayar sürecine entegre edilmiştir. CL ile ön eğitilmiş modellerin performansı ImageNet ağırlıklarını barındıran ConvNeXt V1-Base temel modeli ile kıyaslanmıştır. Ayrıca modelin küçük, etiketli veri kümeleriyle eğitildiğinde sağlamlığını test etmek için etiketli veriyi kademeli olarak azaltarak (her deneyde %25) yarı denetimli öğrenme yaklaşımıyla oluşturulan model performansı biraz daha araştırılmıştır. Yarı denetimli öğrenme yaklaşımıyla eğitilen model, %64.16 doğruluk skoru, %64.72 F1-skoru ve 0.42 MAE skoru ile temel modele karşı üstünlük sağlamıştır. Ayrıca etiketli veri sayısı azaldıkça, tüm performans metriklerinde aralarındaki fark daha da açılmıştır.
Özet (Çeviri)
Osteoarthritis (OA) occurs when the cartilage tissue, a smooth substance found at the ends of bones, thins over time and even disappears. Symptoms such as swelling, pain, and restricted movement in the affected knees significantly diminish the quality of life for individuals and pose a significant health problem that limits their daily activities. To alleviate the damages caused by osteoarthritis and slow down the progression of the disease, accurate determination of the disease's stages is essential. Cartilage degeneration, wear, reduced joint space, and bone changes seen on X-rays offer indirect insights into knee OA stages. This situation causes disagreement among radiologists and hinders early detection. Recently, there has been an increase in studies focusing on accelerating early diagnosis and supporting radiologists' decisions by automatically determining disease stages with deep learning-based methods. However, high-performance models are still needed. The success of deep learning often depends on large-scale labeled data. However, the data labeling phase of medical images is costly and laborious. Within the scope of this thesis, we recognized this challenge, we proposed fully supervised and semi-supervised methods suited for scenarios with abundant or limited labeled data. Firstly, we fine-tuned models like ResNet, DenseNet, EfficientNet,ResNeXt, ConvNeXt trained on the ImageNet using the publicly available OAI dataset in fully supervised learning part. Also during fine-tuning, we used the categorical cross-entropy loss function and the ordinal loss function. We called this process one-stage fine-tuning. Fine-tuning with the ordinal loss function yielded the best results on the OAI test data, with a 73.91% accuracy score and a 73.77% F1-score achieved by the ConvNeXt V2-Tiny model. The ConvNeXt V1-Base model provided the best result in Mean Absolute Error (MAE) metric with a score of 0.28. For scenario with a limited amount of labeled data gathered from a single center, we employ a two-stage fine-tuning approach within the realm of fully supervised methods. We re-fine-tune models that obtained from first stage-fine tuning using smaller-scale hospital data this time. The two-stage fine-tuning method has yielded higher performance scores across all models. The best model performance belongs to the ConvNeXt V1-Base model again, with a 70.86% accuracy score, 71.35% F1-score, and a 0.30 MAE score. For scenarios where unlabeled data more than labeled data, we propose a semi-supervised approach utilizing both types of data. Here, we integrate representations learned through a pre-training process based on Contrastive Learning(CL) using unlabeled X-ray data into a supervised fine-tuning process conducted with a small amount of labeled data. We also examine model robustness by employing semi-supervised learning, gradually reducing labeled data by 25% in each experiment. Our model trained with the semi-supervised learning approach outperforms the baseline model with a 64.16% accuracy score, 64.72% F1 score, and 0.42 MAE score. Furthermore, as the labeled data decreases, the gap between them widens for all performance metrics.
Benzer Tezler
- Diz osteoartriti hastalarında diz bölgesinde belirlenen anatomik noktaların algometrik ölçüm verilerinin global hasta yakınmaları ve radyografik değişiklikler ile ilişkisinin araştırılması
Investigation of the relationships of severity of tenderness in knee anatomic points measured by algometry in patients with knee osteoarthritis and radiographic changes of osteoarthritis and global patient complaints
UMUT KÜPCÜ
Tıpta Uzmanlık
Türkçe
2022
Fiziksel Tıp ve RehabilitasyonBolu Abant İzzet Baysal ÜniversitesiFiziksel Tıp ve Rehabilitasyon Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ŞÜKRÜ BURAK TÖNÜK
- Diz osteoartritli hastalarda kinezyofobi, ağrı, fonksiyonel durum ve öz-etkililik arasındaki ilişkinin incelenmesi
Investigation of the relationship between kinesiophobia, pain, functional status and self-efficacy in patients with knee osteoarthritis
NURHAYAT KORKMAZ
Yüksek Lisans
Türkçe
2019
Fizyoterapi ve RehabilitasyonHacettepe ÜniversitesiFizik Tedavi ve Rehabilitasyon Ana Bilim Dalı
DOÇ. DR. GÜRSOY COŞKUN
- Diz osteoartrit hastalarında sarkopeninin fiziksel aktivite, kinezyofobi ve yaşam kalitesi üzerine etkisi
The effect of sarcopenia on physical activity, kinesiophobia and quality of life in patients with knee osteoarthritis
EREN ASLAN
Tıpta Uzmanlık
Türkçe
2023
Fiziksel Tıp ve RehabilitasyonSivas Cumhuriyet ÜniversitesiFiziksel Tıp ve Rehabilitasyon Ana Bilim Dalı
DOÇ. DR. SEVİL CEYHAN DOĞAN
- Medial menisküs arka kök yırtıkları ile proksimal tibial morfoloji ve diz osteoartritinin ilişkilendirilmesi
Relationship between medial meniscus posterior root tears and proximal tibial morphology and knee osteoarthritis
EREN ÇAMUR
Tıpta Uzmanlık
Türkçe
2023
Radyoloji ve Nükleer TıpSağlık Bilimleri ÜniversitesiRadyoloji Ana Bilim Dalı
DOÇ. DR. SEMRA DURAN
- Diz osteoartritli hastalarda matrilin-3 (MATN3) gen ekspresyonu ve polimorfizmi
The matrilin-3 (MATN3) gene expression and polymorphism in the patients with knee osteoarthritis
HATİCE LÜY
Tıpta Uzmanlık
Türkçe
2016
Fiziksel Tıp ve RehabilitasyonErciyes ÜniversitesiFizik Tedavi ve Rehabilitasyon Ana Bilim Dalı
PROF. DR. HÜSEYİN DEMİR