The effect of language input in semantic segmentation and grading of colorectal cancer with language-vision models
Kolorektal kanser görüntülerinden segmentasyon ve kanser derecesi teşhisi yapan dil-görme modellerinde dil girdisinin etkisi
- Tez No: 891718
- Danışmanlar: DOÇ. DR. EMRE AKBAŞ, DOÇ. DR. AHMET ACAR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Mühendislik Bilimleri Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 96
Özet
Kolorektal kanserin histopatolojik görüntülerden doğru bir şekilde teşhis ve derecelendirilmesi, etkili tedavi için kritik öneme sahiptir. Geleneksel olarak, bu derecelendirme, çok zaman alan ve patologlar arasında değişken bir süreç olan görsel incelemeye dayanmaktadır. Derin öğrenme, zaman içerisinde bu süreci hızlandırmak ve daha tutarlı hale getirmek için umut vadeden bir yol sunmuştur ama hala iki temel zorluk devam etmektedir: yeterli sayıda etiketlenmiş örnek barındıran veri kümelerinin bulunmaması ve genelde derin öğrenme modellerinin anlamsal bölütlemeden ziyade sınıflandırma üzerine eğitilmiş olmaları. Bu çalışma, güçlü bir görüntü-dil modeli olan MaskCLIP'in eğitilebilir hale getirilmiş mimarisini, elimizdeki etiketlenmiş kolorektal kanser görüntülerini barındıran veri kümemizde eğitmiş olmuştur. Bu model, literatürde veri kümemizde eğitilmiş ilk anlamsal bütünleme modeli olup histopatoloji analizinde metinsel bilgiden yararlanma yolu sunmuştur. Eğittiğimiz görüntü-dil ve yalnızca görüntü içeren MaskCLIP varyantları sayesinde, metinsel bilginin model performansı üzerindeki etkisi de karşılaştırmalı bir analiz ile raporlanmıştır. Görüntü-dil entegre modellerinin, geleneksel görüntü bazlı modelleri performans olarak aşıp aşmadığını araştırarak, histopatoloji analizine metinsel bilgilerin dahil edilmesinin potansiyel faydalarını ortaya çıkarmayı hedeflemiştir. Bu araştırma, özellikle kolorektal kanser analizinde kullanılmak üzere anlamsal bölütleme yapan derin öğrenme modellerini geliştirmede dilin rolüne ilişkin değerli bilgiler sağlamıştır.
Özet (Çeviri)
Accurately diagnosing and grading colorectal cancer from histopathological images is crucial for effective treatment. Traditionally, this grading relies on visual examination by pathologists, a process that is inherently time-consuming, subjective, and prone to inter-observer variability. Deep learning offers a promising avenue for automating this process, but two major challenges remain: limited availability of large, annotated datasets and a lack of dedicated semantic segmentation models for this task. This study proposes a modified architecture of MaskCLIP, a powerful vision-language model, fine-tuned on our annotated colorectal cancer image dataset for semantic segmentation and grading of colorectal cancer images. This marks the first application of such a model to this specific task, offering a way to leverage textual information in histopathological analysis. We conduct a comparative analysis of vision-language and vision-only MaskCLIP variants to understand the impact of language guidance on model performance. By investigating whether integrating MaskCLIP as a vision-language module surpasses the capabilities of traditional vision-only models, we aim to uncover the potential benefits of incorporating textual data in histopathological analysis. This research provides valuable insights into the role of language in enhancing deep learning models for colorectal cancer analysis, particularly for semantic segmentation.
Benzer Tezler
- Göstergebilim ışığında modernizm, postmodernizm ve bir örnek: Klassis
In the light of semiotics modernism, postmodernism and an example:Klassis
BÜLENT TANJU
- Kelime değişikliklerinin kavramlar dünyasına etkisinin Ömer Seyfettin hikâyeleri örneğinde değerlendirilmesi
The evaluation of word changes' effect on notion world in the example of Ömer Seyfettin stories
SEBAHAT DEMİR
Yüksek Lisans
Türkçe
2016
DilbilimGazi ÜniversitesiTürkçe Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. ASİYE DUMAN
- Türkçe tümcelerin yüklem odaklı anlam ve dilbilgisi çözümlemesi
Grammatical and semantic analysis of turkish sentence based on predicate
İLKNUR DÖNMEZ
Doktora
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. EŞREF ADALI
- Erken okul çağı işitme kayıplı ve normal işiten çocuklarda dil gelişimi ve bellek uzamının değerlendirilmesi
Evaluation of language development and memory span in early school age children with hearing loss and normal hearing
ATİYE BÜTÜN
Yüksek Lisans
Türkçe
2020
Kulak Burun ve BoğazEge ÜniversitesiKulak Burun Boğaz Ana Bilim Dalı
DOÇ. DR. PELİN PİŞTAV AKMEŞE
- İmalat sistemlerinin tasarlanması ve öncelik kurallarının belirlenmesinde yapay sinir ağlarının kullanılması
Başlık çevirisi yok
TARIK ÇAKAR
Doktora
Türkçe
1997
Mühendislik Bilimleriİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. AYHAN TORAMAN