Geri Dön

Modeling spatial context in transformer-based whole slide image classification

Dönüştürücü tabanlı tüm slayt sınıflandırmasında uzaysal bağlamın modellenmesi

  1. Tez No: 832708
  2. Yazar: CİHAN ERKAN
  3. Danışmanlar: PROF. DR. SELİM AKSOY
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İhsan Doğramacı Bilkent Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 56

Özet

Histopatolojik görüntü sınıflandırmasının en yaygın yöntemi, büyük tüm slayt görüntülerinden toplanan küçük pencerelerin gösterimlerini birleştirerek bir tahmin yapmaktır. Dönüştürücü modelleri, özgün öz-dikkat stratejileri sayesinde pencereler arasındaki uzak mesafe ilişkilerini anlayabildikleri ve önemli bölgeleri saptayabildikleri için bu alanda dikkat çeken bir alternatiftir. Ancak dizi tabanlı mimarileri yüzünden görüntülerin iki boyutlu doğasını doğrudan anlayamazlar. Bir tüm slaytın uzamsal bağlamı iki aşamada modellenir. İlk aşamada pencereler tek boyutlu bir dizi halinde sıralanır, daha sonra bu sıra bilgisi modele enjekte edilir. Ancak, yaygın kullanılan uzamsal bağlamı modelleme yöntemleri sabit boyutlardaki görüntüler için tasarladıkları için bu pencerelerin görüntü içindeki dağılımını tam anlamıyla anlayamazlar. Bu pencereler bir araya gelerek teşhis bakımından anlamlı yapılar oluşturabilecekleri için, pencerelerin uzamsal dağılımını anlayabilecek bir uzamsal bağlamı modelleme yöntemi öneriyoruz. Bunu yerelliği koruyan diziler oluşturarak başarıyoruz. Oluşturulan dizileri farklı bilgi enjekte etme yöntemleriyle test ettik. Önerdiğimiz dönüştürücü tabanlı tüm slayt sınıflandırma yönteminin başarımını The Cancer Genome Atlas'ın akciğer kanseri veri kümesinde değerlendirdik. Deneysel sonuçlarımıza göre, boşluk dolduran eğrileri kullanan yöntemimiz %87.6 doğruluğa erişerek, temel ve modern yöntemlerden daha yüksek başarım göstermiştir.

Özet (Çeviri)

The common method for histopathology image classification is to sample small patches from the large whole slide images and make predictions based on aggregations of patch representations. Transformer models provide a promising alternative with their ability to capture long-range dependencies of patches and their potential to detect representative regions, thanks to their novel self-attention strategy. However, as sequence-based architectures, transformers are unable to directly capture the two-dimensional nature of images. Modeling the spatial context of an image for a transformer requires two steps. In the first step the patches of the image are ordered as a 1-dimensional sequence, then the order information is injected to the model. However, commonly used spatial context modeling methods cannot accurately capture the distribution of the patches as they are designed to work on images with a fixed size. We propose novel spatial context modeling methods in an effort to make the model be aware of the spatial context of the patches as neighboring patches usually form diagnostically relevant structures. We achieve that by generating sequences that preserve the locality of the patches. We test the generated sequences by utilizing various information injection strategies. We evaluate the performance of the proposed transformer-based whole slide image classification framework on a lung dataset obtained from The Cancer Genome Atlas. Our experimental evaluations show that the proposed sequence generation method that utilizes space-filling curves to model the spatial context performs better than both baseline and state-of-the-art methods by achieving 87.6% accuracy.

Benzer Tezler

  1. Neoliberal subjectification through family medicine model in Turkey: An online ethnography

    Türkiye'de aile hekimliği modeli ve neoliberal öznellik inşası

    EMİNCAN FİDAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Siyasal BilimlerGalatasaray Üniversitesi

    Siyaset Bilimi Ana Bilim Dalı

    DR. CEMİL YILDIZCAN

  2. Metro istasyonlarında yolcu sirkülasyonunun değerlendirilmesi için bir uzman sistem önerisi

    An expert system proposal for the evaluation of pedestrian circulation at underground stations

    A.GÜLAY PEKTAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    1997

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    PROF. DR. GÜLEN ÇAĞDAŞ

  3. Geleneksel kırsal bölge mimarisi için parametrik H-BIM uygulamalarının değerlendirilmesi; Vernabim

    Parametric H-BIM application for traditional rural architecture; Vernabim

    MUSTAFA ONUR SAVAŞKAN

    Doktora

    Türkçe

    Türkçe

    2023

    Mimarlıkİstanbul Teknik Üniversitesi

    Bilişim Ana Bilim Dalı

    DOÇ. DR. OZAN ÖNDER ÖZENER

  4. Taşkın modellemede LiDAR verisi ile performans analizleri

    Performance analyses with with LiDAR data in flood modelling

    HAKAN ÇELİK

    Doktora

    Türkçe

    Türkçe

    2017

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    PROF. DR. HİLAL GONCA COŞKUN

  5. İstanbul-Paşaköy-B.Bakkalköy arası enerji nakil hattı kamulaştırma bilgi sistemi pilot çalışması

    Başlık çevirisi yok

    NURAY BAŞ

    Yüksek Lisans

    Türkçe

    Türkçe

    1998

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Jeodezi ve Fotogrametri Mühendisliği Ana Bilim Dalı

    DOÇ. DR. GONCA COŞKUN