Geri Dön

Deep learning based segmentation pipeline for label-free phase-contrast microscopy images

Etiketsiz faz-kontrast mikroskopi görüntüleri için derin öğrenme tabanlı segmentasyon boru hattı

PDF İndir

  1. Tez No: 639330
  2. Yazar: AYDIN AYANZADEH
  3. Danışmanlar: DOÇ. DR. BEHÇET UĞUR TÖREYİN, DOÇ. DR. DEVRİM ÜNAY
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2020
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Bilişim Enstitüsü
  11. Ana Bilim Dalı: Bilişim Uygulamaları Ana Bilim Dalı
  12. Bilim Dalı: Bilişim Uygulamaları Bilim Dalı
  13. Sayfa Sayısı: 77

Özet

Mikroskop keşfinden bu yana, hücre biyolojisinin analizi, hücre davranışlarının analizinde ayrılmaz parçalardan biridir. Hücre kültürünün kantitatif ve kalitatif tespiti, hücre yapısı analizinin güçlü tespitinin ayrılmaz bir parçasıdır. Biyolojik araştırma süreci alanlarında mikroskopi hücre analizi ve hücre kültürlerindeki hücrelerin epitet yapıları çok önemlidir. Hücre biyolojisinin bu analizi, nicel ve nitel faktörlerden oluşan iki ana perspektife sahiptir. Hücre segmentasyonu, hücre analizi sürecini kolaylaştıran önemli görevlerden biridir. Faz-kontrast Mikroskopi optik (PCM) görüntüleri, hücre yapılarının detaylı analizinde ayrılmaz bir role sahiptir, çünkü canlı hücreleri farklı perspektiflerden etiketsiz bir şekilde incelemek için çok çeşitli olanaklar sunar. PCM görüntülerinin bölümlere ayrılması, incelenen numuneye özgü problemler veya kullanılan hücre mikroskoplarındaki bozulmalar, PCM görüntülerindeki hücrelerin üst üste binme ve şeffaf hücre görünümü ile karmaşıklaşan karmaşık görünümü gibi biyologlar için zorlayıcı olmuştur. bilgisayarlı görme yaklaşımları, ilgi alanlarının görüntülerden etkili bir şekilde çıkarılması. Bu nedenle, literatürde mevcut olan segmentasyon ve izleme çözümlerinin çoğu sağlamlık, bütünlük ve doğruluk açısından tatmin edici değildir. ayrıca, Canlı hücre mikroskopi görüntülemesinin uygun görüntü analiz araçlarıyla birlikte biyologlara biyolojik olayları ölçmede yardımcı olma potansiyeli vardır. Örneğin, hücrelerin segmentasyon görevleri için uygun araçlar olmadan, hızlandırılmış mikroskopide hücrelerin özelliklerinin incelenmesi biyologlar için zaman alıcı ve sıkıcı bir görev olabilir. Son zamanlarda popüler olan Derin Sinir Ağları, geleneksel yöntemlere kıyasla sağlamlık ve bütünlük dahil olmak üzere farklı yönlerden segmentasyon doğruluğunun geliştirilmesi üzerinde önemli bir etkiye sahiptir; ayrıca derin öğrenme tabanlı yaklaşımlar sınıflandırma, tespit ve izleme uygulamalarında da başarılıdır. Bununla birlikte, derin öğrenme tabanı yaklaşımı çok sayıda açıklamalı veri kümesine açlıktan ölmektedir. Bu arada, tıbbi görüntüleme alanında iyi bilinen spesifik mimarileri uygulayarak, düşük açıklamalı veri kümesine sahip veri kümesinin segmentasyonu düşük açıklamalı görüntülerde bile başarılı olabilir. Bu tezin amacı, özellikle faz-kontrast mikroskopi görüntülerinde tıbbi görüntülemenin segmentasyonunda derin sinir ağının etkinliğini ve sağlamlığını araştırmaktır. Canlı hücre mikroskopisi görüntüleme ile birlikte uygun imageanalysis araçları biyologların biyolojik fenomenleri ölçmede yardımcı olma potansiyeline sahiptir. biyologlar için sıkıcı görev. Veri kümesi hakkında, faz-kontrast mikroskopi görüntülerinde belirli bir veri kümesi oluşturduk. MDA-MB-231 \cite {Aydin_1} mezenkimal morfolojisi olan ve bir Olympus IX71 mikroskobu kullanılarak yakalanan invaziv meme kanseri hücreleridir. Hücrenin canlılık, enfeksiyon ve proliferasyon gibi spesifik özelliklerinin incelenmesi için, hücreler ters ışık mikroskobu ile günlük olarak takip edilir. Optimize edilmiş sayılarla 6 oyuklu petri kaplarında hücreler görüntülendikten sonra, 24 saat boyunca yapışmaları beklenecektir. Bireysel hücre hareketlerini görselleştirmek için farklı yoğunluklardaki hücreler test edilecektir. Yara kapatma görüntüleri için, hücreler 100\% dolgunluğa ulaşacak bir sayıya ekilecek ve yara, görüntüleme başlamadan hemen önce sarı uçlu bir çizgide yüzeyi kazıyarak oluşturulacaktır. Görüntüleme için 6-çukurlu petri kapları,$ 37^{\circ}$ C sıcaklık ve Leica SP8 mikroskop sisteminin 5\% C02'si sağlayacak şekilde inkübasyon odasına yerleştirilecek ve 48 veya daha fazla süre için belirlenen alanlardan faz kontrastlı görüntüler alınacaktır. Her 30 veya 60 dakikada bir 72 saat. Hücrelerin sürekliliğini analiz etmek için düzenli olarak stok çorabı uygulanır. Son olarak, hücreler FBS ve DMSO içeren spesifik bir çözelti içinde dondurulmuştur. Bu tezde, PCM görüntülerinde hücre segmentasyonu için U-Net mimari yönteminden esinlenen ve geleneksel yaklaşımlara kıyasla üstün performansını gösteren hibrid derin sinir ağlarını önerdik. Kodlayıcı özelliğindeki eşitsizliği ve U-Net mimarisinin kod çözücüsünde yayılan özellikleri azaltmak için. ResNet18'i Net kodlayıcısına uygulayarak alternatif bir özellik çıkarıcı önerdik ve düz blokları U-Net mimarisinin kod çözücüsünde kalan bloklarla değiştirdik. Ayrıca, geleneksel yöntemlere göre daha yüksek performansa sahip FPN'nin omurgasında ResNet18'i kullandık. Ayrıca, U-Net benzeri mimariye uygulanan atlama bağlantısına alternatif olarak değiştirilmiş residual yolu önerdik. Bu değişiklik, modeli düşük ve yüksek düzey anlambiliminde ve görüntülerin detaylarını dikkate alarak etkili hale getirdi. Ayrıca sunulan yaklaşımda transfer öğreniminin kullanılması eğitim yakınsamasını artırmıştır. Tahmin adımındaki sonuçların esnekliğini geliştirdi, eğitim süresini azalttı ve modelin aşırı uymasını önlemeye de katkıda bulundu. Makine öğrenimi uygulamaları tıbbi görüntü analizi alanı çoğunlukla probleme bağlıdır ve açıklamalı görüntülerin sayısı çok düşüktür. Özellikle tıbbi görüntü segmentasyonu alanında, büyük miktarda açıklamalı veri setinin hazırlanması, uzmanlar için sıkıcı ve zaman alıcı bir prosedürdür. Ayrımcı özelliklerin çıkarılmasında derin öğrenme uygulamasının gücünden esinlenerek, hücre segmentasyonu için U-Net benzeri mimarilerden esinlenen otomatik kodlayıcı ağlarını varsayıyoruz. Araştırmamızda, sorularımız için MDA-MB-231 adlı veri kümesini kullandık. İlk olarak, ResNet18 (Conv1-Conv5) 'in omurgası ile otomatik kodlayıcı yapılarına sahip mimariyi, ilk ImageNet \cite {imagenet} ağırlığına sahip olan mimariyi önermiştik. Ayrıca, FPN'nin omurgasındaki ResNe18'in (Conv1-Conv5) yoğun katmanlarını hariç tutarak Özellik Piramidi Ağı (FPN) için bu işlemi tekrarlıyoruz. İkinci olarak, enkoder ve dekoder yolu arasındaki atlama bağlantısını yeniden tasarlıyoruz, bu da özel residual blokları uygulayarak enkoder ve dekoder arasındaki anlam boşluğunu azaltır. Atlama bağlantısının bu değişimi, modelin daha ayrımcı bilgi yakalamasını sağlar ve bu da kaldıraçlı veri kümesinde bölümleme sonuçlarında daha fazla sağlamlığa neden olur. Ayrıca, işlem sonrası olarak, mimarilerin belirsizlik tahmin düzeyini ölçmek için yararlı hileler olan Test Süresi Arttırımı (TTA) kullandık, fakat aynı zamanda kullanılan veri setimizde segmentasyon sonuçlarının kesinliğini arttırdı. Önerilen yaklaşımımızın performansını EGT, U-Net ,BCDUNet, TipNet ve PHANTAST gibi çeşitli taban çizgileriyle karşılaştırıyoruz. Karşılaştırmamızda uygulanan U-Net'in her aşamasında (32, 64, 128, 256, 512) filtreler vardır. PHANTAST ve EGT gibi geleneksel yöntemler, hücre sınırı ve ROI'nin çıkarılmasında tatmin edici değildir. Önerilen yöntem, en gelişmiş yöntemlerden daha iyi performans gösterir ve hücre sınırlarının çıkarılmasında belirgin bir şekilde güçlü bir performansa sahiptir. Ayrıca, spesifik hücre yapısının öngörülmesinde de esnektir. ResNet18-U-Net, ResNet18-FPN ve ResUNet+Rp ile sırasıyla 87.9% ± 1.7, 87.1% ± 2.3 ve 89.2\% ± 1.3 Jaccard dizinlerini elde ettik. Önerilen yaklaşımımızın sadece segmentasyon doğruluğunu arttırmakla kalmayıp aynı zamanda üst üste binen hücrelerin herhangi bir son işlem prosedürü kullanılmadan ayrılmasında da etkili olduğunu kanıtlamaktadır. Ayrıca, önerdiğimiz yaklaşım, MDA-MB-231 ve DSB2018 veri kümesindeki segmentasyon görevindeki U-Net ve diğer temel çizgilerin eksiksizliğini, sağlamlığını ve diğer verimlilik faktörlerini aşmıştır. DSB2018 veri seti ile ilgili önerilen yaklaşımımızı U-Net, SegNet gibi çeşitli taban çizgilerini analiz eder ve karşılaştırırız. , önerilen yöntem en gelişmiş yöntemlere ulaşmıştır ve hücre sınırlarının çıkarılmasında gözle görülür derecede sağlam bir performansa sahiptir. Ayrıca, önerilen yaklaşım özellikle ResNet18-UNet + Residual path değerlere, hücre sınırlarına karşı güçlü bir performansa sahiptir. ResNet18-FPN, ResNet18-UNet ve ResNet18unet +RP ile sırasıyla 81.2\% ± 2.2, 83.1\% ± 1.8 ve 85% ± 2.1 Jaccard dizinlerini elde ettik. Önerilen yaklaşımımızın sadece segmentasyon doğruluğunu geliştirmekle kalmayıp aynı zamanda bitişik veya üst üste binen bazı hücrelerde üst üste binen hücrelerin ayrılmasında da etkili olduğunu kanıtlamaktadır. DSB2018 veri kümesinin bazı çerçevelerinde yüksek bozulma nedeniyle. önerdiğimiz yaklaşım, DSB2018 veri kümesindeki segmentasyon görevindeki U-Net ve diğer temel çizgilerin eksiksizliğini, sağlamlığını ve diğer verimlilik faktörlerini aşmıştır. Bu araştırmanın gelecekteki yönünün birkaç dalı vardır. Gelecek çalışmada, bölümleme görevleri gibi yöntemlerimizi konuşlandırma ve izleme aşaması için sağlam hale getirme planımız var. Bununla birlikte, gelecekte model için en iyi hiper parametre setini daha ayrıntılı olarak belirlemek için deneyler yapmak istiyoruz. Ayrıca, tıbbi yöntem veri kümelerinde farklı yöntemlere ilişkin önerilen yöntemlerin performansını değerlendirmek istiyoruz. Daha önce de belirtildiği gibi, zaman serileri için yöntemlerimizi hücre davranışı hakkında ayrıntılı bilgi veren soy ilişkileri kurarak uygulamak istiyoruz.

Özet (Çeviri)

Since the discovery of the microscope, analysis towards cell biology is one of the integral parts for the understanding of cell behaviour. These analyses of the cells biology have two main perspectives comprising of quantitative and qualitative factors. Cell segmentation is one of the critical tasks which make ease the process of cell analysis. Phase-contrast Microscopy (PCM) images have an integral role in a detailed analysis of the cell structures as it allows a wide range of possibilities in studying living cells from different perspectives in a label-free manner. Segmentation of the PCM images has been challenging for the biologists due to problems specific to the examined specimen or the microscopy technique used, such as perturbations in the cell shapes, overlapping and transparent appearance of the cells in PCM images which complicates the cell segmentation with conventional computer vision approaches, effective extraction of the Region of Interest (RoI) from images. Therefore, most of the segmentation and tracking solutions available in the literature do not qualify as satisfactory in terms of robustness, completeness, and accuracy. The recently popular Deep Neural Networks (DNNs) have a significant effect on the improvement of segmentation accuracy from different perspectives, including robustness and completeness compared to conventional methods; moreover, deep learning-based approaches are also unbeaten in classification, detection and tracking applications. However, deep learning bases approaches require large numbers of annotated datasets to converge at high performances. By the way, applying the specific architectures which are well-known in the field of medical imaging segmentation can be successful even in low annotated images efficiently. We proposed an alternative feature extractor by applying the modified ResNet18 in the encoder of U-Net and replacing the plain blocks with residual blocks in the decoder of U-Net architecture. As an extension of the ResNe18-UNet, we employed residual-pathway as an alternative of the skip-connection of the model which made the model effective in taking low and high-level semantics and the detail of the images into account. Furthermore, we utilized ResNet18 in the backbone of Feature Pyramid Network(FPN) which has higher performance in comparison to conventional methods. In our experimental results, we employ our proposed models in comparison to the base-line models on MDA-MB-231 and DSB2018 dataset. Our proposed model achieved Jaccard Index of 85.4% ± 2.7, 87.9% ± 1.7, 87.1% ± 2.3 and 89.2% ± 1.3 with TipNet, ResNet18-UNet, ResNet18-FPN and ResNet18UNet+RP respectively on MDA-MB231 dataset and achieve the Jaccard index of 83.1% ± 1.8, 81.2% ± 2.2 and 85% ± 2.1 in the DSB2018 dataset which is slightly less than BCDUNet in the Jaccard Index metric. However, our proposed method passes the BCDUNet on MDA-MB-231 dataset. Moreover, the proposed approach is provided satisfactory segmentation results in terms of robustness and completeness on the MDA-MB231 dataset and DSB2018 dataset. Moreover, our proposed methods are also robust in the segmentation of the boundary regions of the cells in the presented dataset; From the other perspective, these methods are reliable on the detection of the outlier and it causes to reduce the amounts of false prediction in comparison of baseline methods. Among the proposed methods ResNet18+Residual path is outperforming in the separation of the boundaries with faint characteristics.

Benzer Tezler

  1. Tez No

    760069

    Brand and size detection of vehicle tires with deep learning

    Derin öğrenme ile kara taşıtı araçları lastiklerinde marka ve ebat tespiti

    VOLKAN ÖZDEMİR

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Elektrik ve Elektronik MühendisliğiKocaeli Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Bilim Dalı

    PROF. DR. OĞUZHAN URHAN

  2. Tez No

    796333

    Detection and recognition face framework by using conventional neural network CNN

    Başlık çevirisi yok

    WISAM ABBAS HUSSEIN AL-SAADI

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SEFER KURNAZ

  3. Tez No

    631070

    Planar geometry estimation with deep learning

    Derin öğrenme ile düzlemsel geometrinin tahminlenmesi

    FURKAN EREN UZYILDIRIM

    Doktora

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİzmir Yüksek Teknoloji Enstitüsü

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MUSTAFA ÖZUYSAL

  4. Tez No

    696514

    Content based image retrieval with high level semantics

    İçerik tabanlı görüntü alma yüksek seviye semantik

    NAJM ABDULLAH HUSSEIN AL-MOHAMMED

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilim ve TeknolojiAltınbaş Üniversitesi

    Bilgi Teknolojileri Ana Bilim Dalı

    YRD. DOÇ. DR. ABDULLAHI ABDU IBRAHIM

  5. Tez No

    687371

    Multi-exposure image fusion with edge preserving smoothing filter

    Çoklu pozlamalı görüntü füzyonu kenar koruyucu yumuşatma filtresi

    IBRAHEM BAYAN YASIN ALABDULLAH

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    Assist. Prof. Dr. SEFER KURNAZ

Geri Dön