Geri Dön

Prediction of microsatellite status in colorectal cancer whole slide images using deep neural networks

Derin sinir ağları kullanılarak kolorektal kanser tüm slayt görüntüleri üzerinde mikrosatellit durumu tahmini

  1. Tez No: 948596
  2. Yazar: FATMA VİLDAN ENGİN
  3. Danışmanlar: PROF. DR. ENDER METE EKŞİOĞLU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Telekomünikasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 103

Özet

Kolorektal kanser dünya üzerinde en sık rastlanan kanserlerden biridir ve her yıl yaklaşık 700.000 ölüme neden olmaktadır. Kolorektal kanser dünya çapında kanser kaynaklı ölümlerin üçüncü en yaygın nedenidir. Bu sebeple hastalığın hem erken teşhisi hem de kişiye özel tedavi planlarının sunulması büyük önem arz etmektedir. Son yıllarda yapılan çalışmalar kanserli dokularda moleküler düzeyde yapılan analizlerin önemini ortaya koymuştur. Moleküler düzeyde yapılan analizler özellikle hastanın yanıt vereceği olası tedavi yöntemini belirlemede büyük ölçüde ışık tutmaktadır. Dokunun moleküler düzeyde analizi için belirli biyobelirteçlerin durumu değerlendirilmektedir. Mikrosatelit instabilitesi özellikle gastrointestinal kanserlerin tanı ve teşhisinde ön plana çıkan biyobelirteçlerden biridir. Gastrointestinal kanserler sindirim sistemi kanserlerini ifade etmektedir ve yemek borusu, mide, pankreas, karaciğer, kolon, rektum gibi sindirim siteminde yer alan organların kanserlerini ifade etmektedir. Mikrosatelit instabilitesi geleneksel olarak immünohistokimya (IHC) testi gibi yöntemlerle invazif şekilde gerçekleştirilmektedir. Ancak geleneksel yöntemler hem invaziv olması yönüyle sıklıkla uygulanamamaktadır hem de uzman patologlara ihtiyaç duyulması sebebiyle zahmetli ve zaman alıcıdır. Ayrıca geleneksel yöntemler uygulanan testler sebebiyle yüksek maliyet getirmektedir. Bu yönüyle pek çok hastaya fayda sağlama imkanı olmasına rağmen mikrosatellit instabilitesi testi olmaksızın tedavi planı oluşturulmaktadır. Bu anlamda son yıllarda yapılan çalışmalarda derin öğrenme tabanlı geliştirilen araç ve modeller öne çıkmaktadır. Bu yöntemler invaziv olmaması, hızlı ve etkili sonuçlar sunması yönüyle avantaj sunmaktadır. Ayrıca dijital patolojide meydana gelen gelişmelerle birlikte doku görüntülerinin dijitalleştirilmesi yaygınlaşmış ve bu durum beraberinde doku görüntülerinden oluşan verilere erişim kolaylığı getirmiştir. Yapılan çalışmalar mikrosatellit instabilitesi yüksek hastaların immünoterapiye daha iyi yanıt verdiğini göstermektedir. Bu doğrultuda kolorektal kanser hastaları için hızlı ve etkili bir mikrosatellit instabilitesi testinin oluşturulması ve elde edilen sonuca göre kişiye özel bir tedavi planının oluşturulması büyük önem arz etmektedir. Mikrosatellit DNA'da bulunan tekrar eden dizilerdir. Bu diziler farklı uzunluk ve yapılara sahip olabilirler. DNA eşlenmesi sırasında bu tekrar eden dizilerde birtakım hatalar meydana gelebilir. Bu hatalar normal şartlar DNA'nın kendini onarma mekanizması olan uyuşmazlık onarım proteinleri (MMR) sayesinde düzeltilebilir. Ancak hücrede bu proteinlerin yapısı bozularak doğru çalışmamaları durumunda mikrosatellitlerde karasızlık ortaya çıkar. Bu durum mikrosatellit instabilitesi olarak adlandırılır. Bu durum hücre ve dokunun yapısını değiştirerek hastanın farklı tedavilere vereceği yanıt ve tepkileri de etkiler. Örneğin mikrosatellit instabilitesi sıklıkla endometrium ve gastrointestinal kanserlerde görülür. Bu kansere sahip, mikrosatellit instabilitesi yüksek hastaların immünoterapiye daha iyi yanıt verdiği tespit edilmiştir. Ayrıca mikrosatellit instabilitesi yalnızca tümörlü dokularda rastlanan bir durumdur. Hücrede bu kararsızlığı oluşturan etkilerden biri de tümörlü yapıdır. Dolayısıyla mikrosatellit instabilitesi tespiti için tümörlü doku örneklerine ihtiyaç duyulmaktadır. Mikrosatellit biyobelirtecinin durumu tümörsüz dokular için tespit edilememektedir.Patoloji görüntülerinin analizi doku örneklerinin alınması, ilgili ön işlem ve boyalamaların yapılması, dokunun dondurulması gibi ardışık adımlardan oluşmaktadır. Ancak elde edilen doku örneklerinin analizi yerel kaynaklarla sınırlı kalmaktadır. Son yıllarda dijital patolojide meydana gelen gelişmeler bu kısıtlamayı kaldırarak elde edilen örneklerin dijital ortama taşınmasını sağlamıştır. Böylece dijital forma taşınan görüntüler hem farklı konumdaki uzmanlar için erişilebilir olmuş hem de örneklerin depolanma yönünü kolaylaştırmıştır. Dijital patolojide görüntüler yüksek çözünürlüklü tarayıcılar yardımıyla taranarak bilgisayar ortamına aktarılmaktadır. Elde edilen bu görüntüler tüm slayt görüntüleri (WSI) olarak adlandırılmaktadır. Tüm slayt görüntüleri gigapiksel düzeyinde, yüksek çözünürlüğe sahip oldukça detaylı görüntülerdir. Bu görüntüler kapsamlı bir analize imkan vermelerinin yanında bazı olumsuz yönlere de sahiptirler. Tüm slayt görüntüleri doku örneğinin fotoğraflandığı kameraya göre, kullanılan boyama yöntemlerine göre, dijitalleştirildiği ortama göre farklı özelliklere sahip olabilirler. Bu da özellikle yapay zeka ve derin öğrenme tabanlı yaklaşımlar için zorluk oluşturmaktadır. Çünkü uzman bir patolog farklı şartlarda elde edilmiş örnekleri inceldiğinde, insan beyninin doğası gereği farklılıkları göz ardı ederek, analiz ve gözlem sürecini yönetebilir. Ancak derin öğrenme tabanlı bir modelde tüm slayt görüntülerinin kullanılabilmesi için belirli ön işleme ve normalizasyon adımlarına ihtiyaç duyulmaktadır. Ek olarak tüm slayt görüntüleri yüksek boyutları sebebiyle yüksek işlem gücü gerektirirler. Bu durum tüm slayt görüntülerin bilgisayarda analiz sürecini yavaşlatmaktadır. Tüm slayt görüntüleri büyük bir dokuyu temsil etmektedir. Dolayısıyla görüntüde hem tümörlü hem de tümörsüz kısımlar bir arada bulunmaktadır. Ancak mikrosatellit instabilitesi tespiti yalnızca tümörlü dokularda uygulanabilmektedir. Bu doğrultuda ihtiyaç duyulan işlem gücünü azaltmak amacıyla dokunun tümör içermeyen kısımları segmente edilebilmektedir. Böylelikle elde edilen görüntü parçaları eğitim aşamasında kullanılabilecektir. Bu çalışmada kolorektal kanser dokularına ait tüm slayt görüntülerinde derin öğrenme tabanlı bir mikrosatellit instabilitesi durumu tahmini modeli geliştirilmiştir. Öncelikle kolorektal kanser görüntülerine ait tüm slayt görüntüler elde edilmiştir. Bu görüntüler açık erişimli Kanser Genom Atlası üzerinden elde edilmiştir. Kanser Genom Atlası Amerika Birleşik Devletleri Ulusal Kanser Enstitüsü (NCI) ve Genom Araştırmaları Enstitüsü (NHGRI) tarafından başlatılan oldukça büyük ölçekli ve kapsamlı bir kanser genom projesidir. Projenin amacı farklı kanser türlerine ait moleküler ve genetik yapıların daha kapsamlı analiz edilmesine yardımcı olarak kanser türlerinin biyolojik mekanizmasını ve dolayısıyla tedavi yollarını araştırmaktır. Bu kapsamda hem mikroskobik görüntü anlamında hem de klinik veriler anlamında yaklaşık 11 000 hastaya ait veri bulunmaktadır. Bu veriler araştırmacılara açıklıkla sunularak kanserin tanı ve tedavi süreçlerine katkı sağlanması amaçlanmıştır. Bu doğrultuda kolon ve rektal kansere ait tüm slayt görüntüleri ve görüntülere ait mikrosatellit durumu etiketleri kullanılmıştır. Tüm slayt görüntüler öncelikle arka planlarından ayrılmıştır. Böylece modelin daha hızlı ve doğru sonuç vermesi hedeflenmiştir. Daha sonra tüm slayt görüntüleri daha doğru ve etkili bir tahmin sonucu için segmente edilmiştir. Tüm slayt görüntüler görüntü parçalarına bölünmüştür. Bölme işlemi bütün tüm slayt görüntüleri için eş boyutlu uygulanmıştır. Bu görüntü parçaları tümör içermeleri bakımından sınıflandırılmıştır. Bu doğrultuda ek bir veri seti kullanılmıştır. Bu ek veri seti adipoz doku, stromal doku ve tümörlü doku olmak üzere üç sınıf içermektedir. Adipoz doku, dokuya ait yağ ve tümörsüz dokuyu ifade ederken, stromal doku kas ve tümörsüz dokuyu ifade etmektedir. Son olarak tümörlü doku ise tümör içeren dokuları ifade etmektedir. Tüm slayt görüntülerden elde edilen parçalar ek olarak kullanılan veri setinin ışığında gruplara ayrılarak sınıflandırılmıştır. Adipoz ve stromal dokular tümörsüz şeklinde gruplanarak ilerdeki adımlara dahil edilmemiştir. Öte yandan tümörlü olarak sınıflandırılan görüntüler, diğer sınıflara kıyasla daha az görüntü içeren grup, sonraki analiz ve tahmin sürecinde kullanılmıştır. Böylelikle mikrosatellit instabilitesinin yalnızca tümörlü dokularda tespit edilmesi dikkate alınmıştır. Elde edilen tümörlü doku görüntüleri mikrosatellit tahmini modelinde kullanılmıştır. Hastalara ait birden fazla tüm slayt görüntüsü olma durumu da göz önüne alınmıştır. Her bir hasta için ve hastanın bütün tüm slayt görüntüleri için mikrosatellit instabilitesi durumu etiketleri gruplanmıştır. Tüm görüntüler öncelikle ön işleme adımlarına maruz bırakılarak normalize edilmiştir. Bu bağlamda öncelikle görüntülere renk düzeyinde normalizasyon işlemi uygulanmıştır. Histopatolojik görüntüler hematoksilen ve eozin boyalı görüntülerdir. Bu boyama yönteminde hücrenin çekirdek ve etrafı hematoksilen kullanılarak mor ve mavi tonlarında, sitoplazması ise eozin kullanılarak pembe ve kırmızı tonlarında renklendirilmektedir. Ancak derin öğrenme tabanlı modelin görüntüyü analiz edebilmesi için renk kontrastının ve farklılıklarının normalize edilmesi gerekmektedir. Bu bağlamda patolojik doku örneklerinde sıklıkla kullanılan Macenko renk normalizasyonu yöntemi kullanılmıştır. Bu yöntem sayesinde modelin görüntüleme ve bilgisayara aktarma sırasında oluşmuş olabilecek gürültü ve bozulmalardan etkilenmemesi hedeflenmiştir. Ayrıca tüm görüntüler daha okunabilir ve anlaşılabilir bir şekle getirilmiştir. Mikrosatellit instabilitesi hücrelerde çekirdeğe yakın kısımlarda gözlemlenmektedir. Dolayısıyla görüntüde hücre çekirdeğinin tespiti büyük önem arz etmektedir. Renk normalizasyonu görüntüdeki çekirdek ve sitoplazma arasındaki farkı arttırarak modelin tespit etmesinde kolaylık sağlamaktadır. Ardından görüntü çeşitliliğini arttırarak ve modelin farklı doku varyasyonlarına adaptasyonunu sağlamak amacıyla veri setine veri arttırma yöntemleri uygulanmıştır. Histopatolojik görüntülerin en öne çıkan özelliklerinin başında homojen yapıda olmaları gelmektedir. Bu bağlamda görüntülerin homojenik yapıda olmasından yararlanılarak veri arttırma metodu seçilmiş ve uygulanmıştır. Böylece görüntülerin hem homojen yapısı korunmuş hem de çeşitlilik sağlanmıştır. Doku görüntüleri üzerinde iki farklı veri arttırma yöntemi uygulanmıştır. Yöntemlerin uygulanması için görüntü üzerinde, görüntünün boyutu da göz önünde bulundurularak, belirli bir kare alan belirlenmiş ve görüntüden çıkarılmıştır. Ardından farklı görüntüler için iki farklı yöntem olarak bu alana sıfır piksellerle dolgu işlemi ya da başka bir görüntü üzerinden çıkartılan piksel değerleriyle dolgu işlemi uygulanmıştır. Böylece modele daha çok sayıda ve farklı yapıda örüntüleri tanıma imkanı sağlanmıştır. Model farklı varyasyonları da öğrenerek daha etkili bir eğitim sürecine maruz kalmıştır. Elde edilen segmentasyona uğramış, normalize edilmiş ve arttırılmış tümörlü doku hücreleri 0.8 test ve 0.2 eğitim olmak üzere parçalara ayrılmıştır. Ayrıca eğitim setinin 0.1'lik kısmı doğrulama seti olarak ayrılmış ve eğitim süresi boyunca doğrulama seti için doğruluk değeri de hesaplanmıştır. Mikrosatellit tahmini için ResNet-18 modeli kullanılmıştır. Derin öğrenme tabanlı yaklaşımlar derin ve karmaşık yapıları sayesinde özellikle histopatolojik görüntülerde detayları öğrenerek başarılı performans sergilemektedir. Ancak derin öğrenme modellerinde derin ağların katman sayısı arttıkça geri yayılım sırasında gradyanlar sıfır yaklaşabilir. Bu durum kaybolan gradyan sorunu olarak bilinmektedir. Bu durum modelin ilk katmanlarının öğrenmesini zorlaştırmaktadır. ResNet-18 mimarisi ise diğer derin öğrenme modellerinden farklı olarak sahip olduğu residual bağlantılar sayesinde bu sorunun önüne geçebilir. Residual bağlantılar gradyanların doğrudan önceki katmanlara geçmesini sağlarlar. Böylece öğrenme sürecini daha kararlı hale getirmiş olurlar. Residual bağlantılar sayesinde model sonuca daha hızlı yakınsar, bu durum da eğitim süresini azaltarak kaynak tüketiminin azaltılmasına yardımcı olur. Ayrıca ResNet mimarisi diğer görüntü işleme tabanlı derin öğrenme modellerine kıyasla daha az parametreye sahiptir. Bunun sonucu olarak daha az hesaplama gücü gerektirir ve daha hızlı sonuç verir. Bu sebeple bu çalışmada ResNet-18 tabanlı bir transfer öğrenme modeli kullanılmıştır. Model ImageNet verisi üzerinde önceden eğitilmiştir. Modelin bu çalışma özelinde verimli ve başarılı sonuçlar vermesi amacıyla modele, mikrosatellit instabiletesi tahmini ve doku görüntüleri özelinde ince ayar yapılmıştır. ResNet-18 mimarisinin sahip olduğu 71 katmanının ilk katmanları dondurulmuş ve son katmanları yeniden eğitilmiştir. Bu bağlamda modelin son katmanlarının yeniden eğitilmesi için, modelin sınıf sayısına adaptasyonu sağlanmış ve öğrenme oranı düşürülerek ince ayar yapılmıştır. Sonuç değerlendirmesi için doğruluk, hassaslık, duyarlılık, F1 skoru ve kesinlik hesaplanmıştır. Ek olarak eğri altında kalan alan hesaplanmıştır. Sonuçlar modelin mikrosatellit durumunu yüksek doğrulukla tespit edebildiğine işaret etmektedir. Ayrıca modelin iki sınıfın ayrımını başarılı bir şekilde yürüttüğünü ve kararlı olduğunu göstermektedir. Özellikle daha az görüntü içermesine ve daha nadir gözlemlenmesine rağmen mikrosatelit instabil sınıfı için yüksek doğruluk elde edilmesi umut vaat etmektedir. Sonuçlar ek olarak veri normalizasyonu ve veri arttırma yöntemlerinin önemine ve modele katkısına vurgu yapmaktadır. Mevcut yöntemlere kıyasla veri arttırma yöntemlerinin uygulanması model doğruluğunda artışa sebep olmuştur. Elde edilen sonuçlar histopatolojik görüntülerde biyobelirteçlerin tanı ve tespitinde derin öğrenmenin güçlü bir araç olarak kullanılabileceğini göstermiştir. Elde edilen bulgular derin öğrenme tabanlı yaklaşımların klinik tanılarda ve tedavi sürecinin planlanmasında etkili bir araç olarak kullanılabileceğini göstermektedir. Böylece hastalar invaziv olmayan ve hızlı bir yöntemle mikrosatellit durumunu test edebilmektedir. Ayrıca yüksek maliyetler olmaksızın ve uzman patologların üzerindeki yükü azaltarak tahmin sürecinde efektif bir sonuç sunmaktadır. Bu durum hastaların tedavi planlarının bireyselleşmesine, böylelikle daha etkili bir tedavi stratejisinin uygulanmasına imkan tanımaktadır.

Özet (Çeviri)

Colorectal cancer (CRC) is established as the most common cancer type among the the cancers in terms of death toll rates worldwide. Accurate diagnosis in colorectal cancer provides detailed and significant information for both the identification of the disease and the prognosis assessment. Determining appropriate treatment strategies is crucial for managing the course of the disease. Advances in molecular biology have demonstrated that colorectal cancer can be categorized into distinct subtypes at the genetic level, and these subtypes exhibit varying responses to different treatment strategies. Classifications made at the molecular level have great potential in terms of understanding the biological behavior of the disease and shaping personalized treatment strategies. Biomarkers help determine the course of the disease and potential treatment methods by providing detailed molecular-level analyses. Microsatellite instability is a biomarker frequently used in evaluating the response to immunotherapy in gastrointestinal cancers such as colorectal cancer. MSI is a condition that is a result of the inadequacy of the repair mechanism of errors occurring in the repeats of DNA sequences. This biomarker plays an effective role in predicting the response rates of cancer to immunotherapies. Patients with high microsatellite instability tend to respond better to immunotherapy. Traditionally, MSI status is determined by immunohistochemistry (IHC) or polymerase chain reaction (PCR) methods. However, these methods are costly and time-consuming. These methods also require expertise. In recent years, digital pathology and artificial intelligence-based analysis techniques have offered alternative ways to estimate the MSI status from pathological images automatically. Whole Slide Image (WSI) format is a high-resolution digital representation of pathological tissue sections. However, such images are not suitable for direct processing due to their sizes, which may reach to gigapixel level. Therefore, WSI images need to be divided into smaller tiles. However, each tile may not always be informative; for example, some tiles may contain background. In addition, MSI status is only observed in tumor tissues. The whole slide image represents both tumorous and non-tumorous parts of the tissue. Therefore, non-tumor parts in the image are not required for the prediction model and need to be eliminated. Therefore, tile segmentation is an important preliminary step for further stages. In this study, firstly, tile segmentation was performed on WSI images. Then, MSI status prediction was performed on the tiles. The ResNet-18 architecture was preferred for the prediction phase. Thus, computational efficiency was increased, and it was aimed to increase the classification performance. ResNet-18 stands out in terms of computational efficiency among deep convolutional neural network architectures. Problems such as overfitting and vanishing gradient, which traditional convolutional neural network (CNN) architectures encounter as they get deeper, have been largely overcome thanks to the residual connections in the ResNet architecture. The architecture provides higher classification accuracy by increasing the optimizability of deeper layers and making the training process stable. The fact that ResNet-18 has relatively fewer parameters is effective in terms of fast inference and lower computational cost. In the first stage of this study, WSI data belonging to colorectal cancer patients were divided into tiles of fixed sizes. It was evaluated whether the tiles were important in terms of features for segmentation. First, the background parts in the whole slide image were eliminated. Then the non-tumor tiles were separated. Since microsatellite instability can not be observed in non-tumor tissues. Thus, the images required for MSI status prediction were obtained. The obtained images were normalized in terms of color. In addition, patch-level data augmentation was applied to increase the generalization ability of the model. The homogeneity of pathological tissue images was considered in the selection of the augmentation method. These pre-processed tiles were used for MSI classification. Images were classified as MSI or MSS using ResNet 18. A transfer learning-based approach was adopted in the training process, and the last layers of the model were fine-tuned to be appropriate for the data. The performance of the model was evaluated on different metrics. Classification, accuracy, recall, specificity, F1 score, and area under the curve (AUC) metrics were measured. The achievement of sensitivity and specificity rates can be considered significant, especially in terms of clinical validation. The obtained results showed that the deep learning-based approach provided high success. The obtained findings indicate the importance of whole slide image segmentation. The results also highlight the importance of image normalization and augmentation. In addition, the relatively short training time of the model and the requirement of less computational power compared to deeper models make this method effective in terms of practical applications. This study presents an effective and optimized deep learning-based structure for MSI classification in colorectal cancer WSI images. This study provides a fast and efficient deep learning-based pipeline for analyzing pathology images. Also, the results have revealed that the study can potentially be used as a tool that can be integrated into diagnostic support systems. This model can be effective specifically for individualized treatment strategies for colorectal cancer patients. This pipeline offers promising results in creating treatment plans for colorectal cancer patients and performing the necessary analyses for this purpose.

Benzer Tezler

  1. Kolorektal adenokarsinomda mikrosatellit instabilite durumunun tümör tomurcuklanması ve histopatolojik paremtereler ile olan ilişkisi

    The relationship between microsatellite instabilitiy in colorectal adenocarcinoma and tumor budding and histopathological parameters

    UĞUR TOPAL

    Doktora

    Türkçe

    Türkçe

    2023

    Genel CerrahiSağlık Bilimleri Üniversitesi

    Moleküler Onkoloji Ana Bilim Dalı

    PROF. DR. MUSTAFA DUMAN

  2. Metastatik kolorektal kanserde irinotekan bazlı kemoterapilere yanıtı belirlemede mikrosatellit instabilitenin rolü

    The role of microsatellite instability for predicting the response of irinotecan based regimens in metastatic colorectal cancer

    MEHMET ARTAÇ

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2006

    OnkolojiAkdeniz Üniversitesi

    İç Hastalıkları Ana Bilim Dalı

    DOÇ. DR. HAKAN BOZCUK

  3. Robotik prostatektomi materyallerinde yüksek dereceli prostat adenokarsinomlarında mikrosatellit instabilitesi (MSI) ve programlanmış ölüm ligandı-1 (PD-L1) ekspresyonunun histomorfolojik bulgularla ilişkisi

    Association of microsatellite instability (MSI) and programmed death ligand-1 (PD-L1) expression with histomorphological findings in high-grade prostate adenocarcinomas in robotic prostatectomy specimens

    ONUR ŞAHİN

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2025

    PatolojiSağlık Bilimleri Üniversitesi

    Tıbbi Patoloji Ana Bilim Dalı

    DR. İLKAY TOSUN

  4. Pankreas adenokarsinomlarında dna yanlış eşleşme tamir (mismatch repair) genlerinin diğer prognostik parametrelerle ilişkisi

    The relationship of dna mismatch repair genes with other prognostic parameters in pancreas adenocarcinoma

    NİL URGANCI

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2023

    Patolojiİstanbul Üniversitesi-Cerrahpaşa

    Tıbbi Patoloji Ana Bilim Dalı

    DOÇ. DR. NURAY KEPİL