Geri Dön

Superpixel assisted deep neural network for breast tumor segmentation in ultrasound images

Süperpiksel destekli derin sinir ağı ile meme ultrason görüntülerinde tümör segmentasyonu

PDF İndir

  1. Tez No: 737771
  2. Yazar: NEFİSE UYSAL
  3. Danışmanlar: PROF. DR. ENDER METE EKŞİOĞLU, ÖĞR. GÖR. MURAT GEZER
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Mühendislik Bilimleri, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering, Engineering Sciences
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Biyomedikal Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 91

Özet

Dünya Sağlık Örgütü'ne (WHO) bağlı Küresel Kanser Gözlemevi'nin 2020 yılı verilerine göre meme kanseri kadınlarda teşhis edilen kanser türlerinin başında geliyor. Aynı zamanda yaklaşık 685.000 ölümle kadınlarda en fazla ölüme neden olan kanser türüdür. Meme kanserinin yayılmasını kontrol altına almanın ve ölüm sayısını en aza indirmenin en etkili yolu, klinik değerlendirme yoluyla erken teşhis ve tedavi etmektir. Ultrason görüntüleme meme kanseri tanısında yaygın olarak uygulanmaktadır. Sağladığı etkin maliyetli ve gerçek zamanlı değerlendirme sayesinde ultrasonun diğer meme görüntüleme yöntemlerine göre birçok olumlu yanı vardır. Son zamanlarda masrafları azaltmak ve radyologun kapasitesini artırmak için ultrason görüntüsüne dayanan çeşitli meme kanseri bilgisayar destekli tanı (CAD) sistemleri geliştirilmiştir. Meme ultrason görüntülerinden tümör segmentasyonu, CAD sistemlerinde tümör tespiti, sınıflandırılması ve tedavi planlaması gibi sonraki analizlerin başarısı için önemlidir. Fakat meme ultrason görüntüleri arasında tümör boyutu, şekli ve eko yoğunluğu önemli ölçüde farklılık gösterdiğinden dolayı geleneksel bölütleme yaklaşımlarının otomatik olarak uygulanması zordur. Ayrıca, kullanıcı etkileşimleri ile manuel veya yarı otomatik yaklaşımlar olarak tümörleri segmentlere ayırmak son derece zahmetli, öznel ve zaman alıcıdır. Meme ultrason görüntülemenin benzersiz doğasından kaynaklı problemler nedeniyle bu görüntülerin segmentasyonu zor olmasına rağmen lezyonun minimum insan müdahalesi ile doğru ve tutarlı bölütlenmesi meme kanseri analizi ve teşhisinin daha kolay olması için önemli bir adımdır. Derin öğrenmeye dayalı segmentasyon yaklaşımları, sıkıcı görevleri otomatikleştirerek radyologların iş yükünü ve operatör bağımlılığını azaltmak için büyük bir potansiyele sahiptir. Özellikle evrişimli sinir ağlarının (CNN) ortaya çıkmasıyla birlikte, derin öğrenme tabanlı yöntemleri kullanan birçok çalışma son birkaç yılda meme ultrasonu tümör segmentasyonunda üstün performans göstermiştir. Ancak meme ultrason görüntülerindeki yüksek benek gürültüsü, artefaktlar, zayıf kontrast ve yoğunluk homojensizliği nedeniyle tümör segmentasyonu derin öğrenmeye yaklaşımla için de zorlu bir görev olmaya devam etmektedir. Bu tez kapsamında, mevcut sorunları çözmek için artık ve kanal dikkat bloklarının U-Net ağına entegre edildiği süperpiksel destekli konvolüsyonel sinir ağı önerilmiştir. Otomatik ikili sınıf meme tümörü segmentasyonuna odaklanan bu önerilen modelin farklı derin öğrenimi mimarileriyle olan karşılaştırmalı segmentasyon sonuçlarına da yer verilmiştir. Ağ, meme ultrason görüntülerinden oluşan ana girdiye ek olarak bu görüntülere karşılık gelen süperpiksel görüntülerinden oluşan ikinci bir girdi içerir. Süperpiksel, birbirine bağlı ve renk, yoğunluk veya diğer düşük seviyeli özellikler gibi benzer özelliklere sahip bir grup pikseldir ve meme ultrason segmentasyonu dahil olmak üzere birçok biyomedikal uygulamada giderek daha fazla ilgi görmeye başlamıştır. Geliştirilen meme tümörü segmentasyon algoritmasını eğitmek ve test etmek için kullanılan görüntüler kamuya açık iki meme ultrason görüntü veri setinden alınmıştır. Hesaplama maliyetini en aza indirmek ve görüntü boyutu tekdüzeliğini sağlamak için veri kümelerindeki görüntüler 128 × 128 uzaysal çözünürlükte yeniden örneklenmiştir. Daha fazla eğitim verisi oluşturmak ve aşırı öğrenmeyi ortadan kaldırarak performansı daha da iyileştirmek için de büyütme stratejileri kullanılmıştır. Bu kapsamda meme ultrason görüntülerine öteleme, döndürme, ölçekleme, çevirme ve yakınlaştırma gibi dönüşümler uygulanmıştır. İlk olarak, giriş görüntüsü görüntüsündeki tümörlerin belirginliğini arttırırken benek gürültüsü girişimini önlemeyi sağlayan basit doğrusal yinelemeli kümeleme (SLIC) algoritması kullanılarak doku tutarlılığına sahip ilkel süperpiksel bölgelerine aşırı bölümlenmiştir. Süperpiksellerin bir ön segmentasyon yöntemi olarak elde edilmesi ve ağa ikinci bir girdi olarak beslenmesi, tümör segmentasyonunda iyi bir rehberlik sağlar. Öte yandan giriş görüntüsündeki piksellerden çok daha az süperpiksel olduğundan süperpiksellerin kullanılması toplam hesaplama maliyetini büyük ölçüde azaltır. Önerilen U-Net tabanlı modelde, artık bloklar hem kodlayıcı yoluna hem de kod çözücü yoluna yerleştirilmiştir. Artık modüller, özellik çıkarma ve ifadeyi iyileştirmenin yanı sıra kaybolan gradyan sorunlarını çözerek daha yüksek derinlikte daha fazla doğruluk kazanımı sağlar. Ek olarak, kodlayıcı kısımda kalan blokların çıkışı ağın temsil gücünü artırmak için Kanal Dikkati (CA) bloğundan geçirilir. Kanal dikkat mekanizması, segmentasyon performansını artırmak için özellik kanalları arasındaki karşılıklı bağımlılığı keşfedebilir. Süperpiksel Kanal Dikkati (SCA) modülü, süperpiksel bilgileri ile CA bloğu tarafından türetilen ağırlıklı kanal bilgilerinin bir kombinasyonudur. Bu modül süper pikselin ön bilgilerini entegre etmek için kanal dikkati açısından zenginleştirilmiş bir modüldür. Ayrıca U-Net tabanlı evrişimli sinir ağlarındaki darboğazlar, modeli girdi verilerinin sıkıştırılmasını öğrenmeye zorlamanın bir yoludur ve buradaki fikir bu sıkıştırılmış görünümün yalnızca çıktı maskesi oluşturabilmek için yararlı bilgileri içermesi gerektiğidir. Bundan dolayı, modelin en alt katmanındaki yüksek seviyeli özellik haritası geniş alıcı alanları ve daha fazla kanalı olan karmaşık özellikleri temsil ettiğinden Artık Kanal Dikkat (CAR) modülü eklenmiştir. Önerilen modelin segmentasyon performansını değerlendirmek için tahmin edilen bölütleme maskelerinin doğruluk (ACC), Jaccard benzerlik katsayısı (IOU), Dice benzerlik katsayısı (DSC), hassasiyet (PPV), Gerçek Pozitif Değerlerin Oranı (REC), Hausdorff uzaklığı (HD) ve Yanlış Pozitif Değerlerin Oranı (FPR) gibi metrik değerleri hesaplanmıştır. Bu metriklerin sonuçları U-Net, Residual U-Net (ResU-Net), Attention Gate U-Net (AG U-Net), Multi-scaled Attention Gate U-Net (MAG U-Net) ve Trans U-Net'ten oluşan beş U-Net tabanlı model ve SegNet modeliyle karşılaştırılmıştır. Bu karşılaştırmanın sonucunda önerilen modelin tez kapsamında uygulanan diğer tüm U-Net varyant modellerden daha iyi sonuçlar verdiği gözlemlenmiştir. Ayrıca süperpikel bilgisini Süperpiksel Kanal Dikkat modülü ile önerilen modele eklenmesi tümör segmentasyon başarısını geliştirebileceğini göstermiştir. Nihai segmentasyon sonucunun elde edilmesinde, önerilen modelin tutarlılığını artırmak için topluluk oylama teknikleri kullanılmıştır. Topluluk oylama tekniği, farklı başlangıç ağırlıklarında eğitilmiş birden fazla modeli birleştirerek düşük varyanslı daha iyi performans gösteren bir model oluşturmayı amaçlar. Bu yaklaşımdaki ana fikir, zayıf bir segmentasyon modeli yanlış bir tahminde bulunsa bile, diğer topluluk oylama modellerinin (güçlü segmentasyon modeli) hatayı düzeltebilmesidir. Bu amaçla beş katlı çapraz doğrulama verileriyle eğitilmiş aynı mimariye sahip beş farklı modellerin eğitim aşamasında hiç görmediği bir test setinde segmentasyon tahminleri oluşturulmuştur. Ardından nihai bir segmentasyon maskesi oluşturmak için her bir modelin tahmini maskesi oylama yaklaşımı kullanılarak birleştirilmiştir. Sonuç olarak meme lezyonu segmentasyonu için önerilen yaklaşım olan süperpiksel odaklı derin öğrenme ağı üzerindeki topluluk öğrenme uygulamasının sonuçları tek bir çarpaz doğrulama katına ait modelden daha iyi performans gösterdiğini bulunmuştur. Modelin test setindeki IOU metriğinin ortalama değerlerindeki artışla birlikte standart sapmasında düşüş gözlenmiştir. Ayrıca diğer metriklerden farklı olarak küçük değerler alması beklenen Yanlış Pozitif Değerlerin Oranı ve Hausdorff uzaklığı değerlerinde oylama yaklaşımının uygulanmasıyla düşüş de sağlanmıştır. Tez kapsamında yapılan gerçeklemeler, meme ultrason görüntülerinden tümör segmentasyonu için derin sinir ağları ile süperpiksel bilgisini birleştiren yaklaşımın başarıyla kullanılabileceğini göstermiştir.

Özet (Çeviri)

Breast cancer is the leading type of cancer diagnosed in women, according to data from the World Health Organization (WHO) in 2020. It is also the type of cancer that causes the most deaths in women, with around 685,000 deaths. In the diagnosis of breast cancer, ultrasound imaging has been used frequently. Tumor segmentation from breast ultrasound (BUS) images is significant for the success of subsequent analyses such as tumor detection, classification, and treatment planning in computer-aided diagnostic (CAD) systems. However, traditional segmentation approaches are challenging to apply automatically since tumor size, shape, and echo intensity vary significantly among BUS images. Deep learning-based segmentation approaches have great potential to reduce the workload of radiologists and operator dependence by automating tedious tasks. However, tumor segmentation remains a difficult task for these approaches because of the high speckle noise, artifacts, poor contrast, and intensity inhomogeneity in BUS images. Even though tumor segmentation in BUS images is challenging owing to the nature of ultrasound images, accurate lesion segmentation by reducing human involvement is essential for easier breast cancer analysis and diagnosis. For this purpose, a new superpixel-assisted deep learning model is proposed, focusing on automatic binary class breast tumor segmentation. In this thesis, a superpixel-guided deep learning network, in which residual and channel attention blocks are integrated into the U-Net network, was proposed to address the above problems. The network contains a secondary input consisting of the corresponding superpixel images in addition to the main input comprising of BUS images. Firstly, the input image is over-segmented into primitive superpixel regions with texture consistency while less semantics using the simple linear iterative clustering (SLIC) algorithm to avoid speckle noise interference while enhancing the salience of tumors in the input image. Obtaining superpixels as a pre-segmentation method and feeding it as a second input to the network will provide good guidance in tumor segmentation. On the other hand, because there are far fewer superpixels than pixels in the input image, using superpixels can greatly lower the overall computational cost. Experiments in this thesis showed that the use of superpixel images can improve the tumor segmentation success of the proposed model. Images that were utilized to train and evaluate the breast tumor segmentation algorithm developed by this thesis were taken from two publicly available BUS image datasets, BUSI and UDIAT. A number of data augmentation and normalization techniques are applied to these datasets. In proposed U-Net-based model, residual blocks were placed in both encoder path and decoder path. Residual modules improve feature extraction and expression, as well as resolve degradation issues, allowing for greater accuracy gains with higher depth. Additionally, the output of residual blocks in the encoder part is passed through the Channel Attention (CA) block to increase the network's representational power. The channel attention mechanism can explore the interdependence between the feature channels to boost segmentation performance. The Superpixel Channel Attention (SCA) module is a combination of superpixel features and weighted channel information derived by the CA block. This module is a channel attention enriched module for integrating prior knowledge of superpixel. Furthermore, bottlenecks in U-shaped convolutional neural networks are a way to force the model to learn a compression of the input data. The idea is that this compressed view should only contain the useful information to be able to construct an output mask. Therefore, because the high-level feature map represents complex features with wide receptive fields and more channels, the Channel Attention Residual (CAR) module was added to the model's bottom layer. The training was repeated with the 5-fold cross-validation technique to obtain a more consistent model for all cases. The final pixel labels are voted in the final assessment using ensemble models with random parameter initializations in 5-fold data. It turns out that a final segmentation output from an ensemble of models trained with different inputs and using the same architecture outperforms a single model. Ensemble learning application on superpixel-guided deep learning network, which is the recommended approach for breast lesion segmentation, gives better results than all competing U-Net variant models and either of the 5-fold models. Test results within the scope of the thesis showed that tumor segmentation from breast ultrasound images can be effectively accomplished using a method that combines deep neural networks and superpixel information.

Benzer Tezler

  1. Tez No

    770656

    Graph representation learning for histopathological images

    Histopatolojik görüntüler için çizge temsil öğrenimi

    ESRA TEPE

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. GÖKHAN BİLGİN

  2. Tez No

    338446

    Superpixel based efficient image representation for segmentation and classification

    Bölütleme ve sınıflandırma için süperpiksel temelli etkin imge simgeleme

    HÜSEYİN EMRAH TAŞLI

    Doktora

    İngilizce

    İngilizce

    2013

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ABDULLAH AYDIN ALATAN

  3. Tez No

    463643

    Superpixel based image sequence representation and motion estimation

    Süper pikseller ile görüntü dizilerinin betimlenmesi ve hareket kestirimi

    KUTALMIŞ GÖKALP İNCE

    Doktora

    İngilizce

    İngilizce

    2017

    Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ABDULLAH AYDIN ALATAN

    PROF. DR. MÜBECCEL DEMİREKLER

  4. Tez No

    543403

    Süperpiksel tabanlı satır bölütleme

    Superpixel based text-line segmentation

    ALİ ALPER DEMİR

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Elektrik ve Elektronik MühendisliğiSüleyman Demirel Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ UFUK ÖZKAYA

  5. Tez No

    439441

    Uzaktan algılama görüntülerinin süperpiksel tabanlı sınıflandırılması

    Superpixel based classification of remote sensing images

    SERTAÇ ARISOY

    Yüksek Lisans

    Türkçe

    Türkçe

    2016

    Elektrik ve Elektronik MühendisliğiGebze Teknik Üniversitesi

    Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. KORAY KAYABOL

Geri Dön