Vascular segmentation of brain MR angiography images using convolutional neural networks
Evrişimsel sinir ağları kullanarak beyin MR anjiyografi görüntülerinin vasküler segmentasyonu
- Tez No: 496498
- Danışmanlar: PROF. GÖZDE ÜNAL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 85
Özet
Bu çalışmada Magnetik Rezonans Anjiyografi (MRA) ile elde edilmiş 3 boyutlu beyin görüntülerinde damar segmentasyonu hedeflenmiştir. Damar segmentasyonu hastanın damar yapısına bağlı anomalileri taşıyıp taşımadığını öğrenmek, bu anomalileri belirli aralıklarla kontrol etmek ve bir ameliyat sırasında bu damar yapısının ve bahsedilen anomalilerin yer bilgisini göz önüne alarak en az hasarla atlatmasını sağlamak için büyük önem taşır. Bahsi geçen anomalilerden sakküler anevrizmalar ve arterio-venöz malformasyonlar yüksek ölüm ve morbidite oranlarına sahiptir. Bu anomalilerin tesbitinde kullanılan MRA yöntemi olan Time-of-Flight, damar yapısının daha belirgin gözükmesini sağlamakta ve işlemi kolaylaştırmaktadır. Son senelerde evrişimsel sinir ağları, ILSVRC gibi geniş katılımlı yarışmalarda büyük başarılar elde etmiş ve semantik segmentasyon, sınıflandırma, resim geri kazanımı gibi birçok alanda uğraşan kişileri kendine çekmiştir. Bu akım kısa bir süre önce tıbbi görüntü sınıflandırması ve segmentasyonu alanında da kendini göstermiştir. Beyin lezyon segmentasyonu, tümör segmentasyonu, akciğer lezyon segmentasyonu gibi birçok alanda başarılı çalışmalar üretilmiştir. Bu çalışmada üç farklı evrişimsel sinir ağı mimarisi kullanılmıştır: MODEL1, MODEL2 ve 3 kanallı 2B mimari. Sayılan mimairlerden ilk ikisi bizim katkımız olup diğer mimari beyincik, ventriküler beyin-omurilik sıvısı, miyelinsiz ak madde gibi doku çeşitlerinin segmentasyonu amacıyla üretilmiştir. Bu çalışmada sunulan mimariler iki farklı veri kümesinde sınanmıştır. Bunlardan biri, sağlıklı gönüllülerden toplanan verilerden oluşan MIDAS MRA veri kümesinin bir alt kümesidir. Veri kümesindeki görüntüler seçilirken değişik yaş ve cinsiyetlerde gönüllülere ait olmasına özen gösterilmiştir. Bu veri kümesini işlemeden önce, bir beyin çıkarma algoritması kullanılarak görüntülerdeki kafatası, burun kemikleri gibi beyin dışı yapılar çıkarılmış ve daha sonra pencere/seviye dönüşümü kullanılarak renk değerlerinin 0-255 arasında homojen bir şekilde dağılması sağlanmıştır. İkinci olarak MIDAS veri kümesindeki damarsal yapıların doğrultu ve yarıçap istatistikleri çıkarılmış ve yeni sentetik görüntüler, bu istatistikler kullanılarak rastgele oluşturulmuştur. Sonuç olarak, bu alanda sıklıkla kullanılan sentetik verilere göre, genellikle daha eğimli ve çok daha belirsiz bir veri kümesi elde edilmiştir. Bu modeller için evrişimel sinir ağları geliştirilirken, diğer medikal evrişimsel sinir ağı mimarilerinde sıklıkla kullanıldığı gibi, görüntülerden parçalar kesilip bu parçalar damar yapısına ait olup olmamasına göre sınıflandırılmış ve görüntüye ait tüm damarların sınıflandırılmasıyla görüntünün damar segmentasyonu elde edilmiştir. Bir görüntü parçasının sınıfı parçanın merkezinde yer alan pikselin/vokselin sınıfı olarak belirlenmiştir. MODEL1 mimarisi 13x13x13 boyutunda bir görüntü kesitini girdi olarak alır. Bu girdiyi 1 kez 64 kanallı 3x3x3 filtrelerden oluşmuş 3 boyutlu evrişimsel katmanlardan geçirir. Daha sonra 3 kez arka arkaya dizilmiş evrişimsel filtre ve en büyük havuzu katmanlarından geçirir ve sonucu 256 nöronlu tam bağlı katmana verir. Bu katman 512 nöronlu başka bir tam bağlı katmana bağlıdır. İkinci tam bağlı katman da, softmax fonksiyonu kullanarak sınıf olasılıklarını vermesi amacıyla en sondaki 2 nöronlu katmana bağlıdır. Tüm evrişimsel katmanlarda aktivasyon fonksiyonu olarak ReLU kullanılmıştır. Ayrıca iletim-sönümü tekniği kullanılarak aşırı uyumun önüne geçilmeye çalışılmıştır. MODEL1 mimarisinin test sonuçlarına bakıldığında beynin yüzey sınırlarındaki yapıları ve beynin iç kısımlardaki ince ve daha kompleks yapıları yeterince iyi bölütlendiremediği görülmüştür. MODEL2 mimarisi temel olarak MODEL1 mimarisine dayanmakla birlikte ek olarak 9x9x9 voksel boyutunda girdi alan ikinci bir yola sahiptir. Böylelikle bir görüntü parçasının merkeze yakın kesiti de sınıflandırma için çıkarım yapmakta etkin olması ve merkez voksele daha odaklanmış bir mimari oluşturulması amaçlanmıştır. 13x13x13 boyutlu girdi alan yolda ardışık olarak 2 kez 3x3x3 filtreli evrişimsel katman ve 2x2x2 filtreli en büyük havuzlarından geçirilmiş ve 128 nörondan oluşan tam bağlı katmana ve bu katman da 64 nörondan olulan bir başka katmana bağlanmıştır. 9x9x9 boyutunda 3x3x3 filtreli evrişimsel katmandan, 2x2x2 filtreli en büyük havuzundan ve son olarak tekrar 3x3x3 filtreli evrişimsel katmandan geçirilip 128 nöronlu tam bağlı katmana bağlanmıştır. Bu iki tam bağlı katman birleştirilerek kullanılmıştır. Deney sonuçlarına bakıldığında bu mimarinin beyin yüzey sınırlarındaki yapıları algılamada MODEL1'den daha iyi olduğu ve beynin iç kısmındaki kompleks yapıları da büyük oranda algıladığı görülmüştür. Son olarak kullanılan üç kanallı 2B mimari, iki boyutlu tıbbi görüntüler için tasarlandığından bu mimari eğitilirken aksiyel kesitler kullanılmıştır. Mimari 75x75, 51x51 ve 25x25 boyutunda girdi alan üç ayrı yol içermekte ve sonuç olarak daha önce bahsedilen mimarilerdeki gibi merkez vokselin sınıfını vermektedir. Bu mimari, deney sonuçlarında beynin yüzey sınırlarının sınıflandırılması açısından daha başarılı olmuştur. Bu üç mimarinin de sonuçlarını iyileştirmek için, MRA görüntülerinin pencere/seviye dönüşümü yapıldıktan sonraki çıktıları kullanılarak eşikleme yapılmıştır. Sonuç olarak, sentetik verileri sınarken %90-%98 arası Dice oranı veren bu mimariler gerçek MRA görüntülerinde %39-%47 aralığında sonuç vermiştir. Tezde ayrıca farklı mimarilerden elde edilen segmentasyon sonuçları birlikte kullanılarak bileşik sonuçlar elde edilmiştir. Bu amaçla ilk yöntem olarak, görüntülerin pozitif tahminlerinin kesişimi kullanılmış ve üç mimarinin sonuçlarının kesişimi alındığında %52'lik bir Dice oranı elde edilmiş fakat pozitif veriler üzerindeki başarı düşmüştür. Bir diğer birleştirme yöntemi olarak ağırlıklı çoğunluk oylaması kullanılmıştır. Bu yöntemde farklı sınıflandırıcıların eğitim kümesi üzerindeki başarı yüzdeleri, sınıflandırılan örneklerin beyin yüzeyinden uzaklıklarına göre ölçülmüş ve ağırlık olarak kullanılmıştır. Bu yöntemde sonuç olarak %36'lık bir Dice oranı elde edilmiş fakat pozitif veriler üzerindeki başarı %76 olmuştur. Bu çalışmada sunulan sonuçlardan ve yöntemlerden gelecekte iki şekilde yararlanılabilir. İlk olarak, çalışmamız arteriovenöz malformasyon ve anevrizma gibi damarsal anomalileri tespit etmek için ilk basamak olarak kullanılabilir. Damarlar segmente edildikten sonra başka bir yöntem bahsedilen durumların tesbiti için kullanılabilir. İkinci olarak, bu çalışmadaki evrişimsel sinir ağı mimarileri kullanılarak, rastgele seçilen görüntü parçaları yerine dengesiz sınıf dağılımlarının olduğu verilere yönelik farklı algoritmalar kullanılarak eğitim ve sınama verileri oluşturulabilir ve bu çalışmaladaki sonuçlar referans olarak kullanılabilir.
Özet (Çeviri)
Segmentation of vascular structures is important for constructing 3D models of the vessel anatomy and for detecting vascular anomalies in patients. The constructed models of normal anatomy and anomalies are used in surgical planning, navigation and monitoring of patients in related diseases. The goal is to obtain improved diagnosis, intervention and treatment follow-up in vascular diseases. In this thesis, we developed a novel vessel segmentation method to obtain 3D models of the cerebral arteries using Magnetic Resonance Angiography data. Saccular aneurysms and alterovenous malformation which are some of these aforementioned anomalies, have high mortality and morbitity rates. Time-of-Flight MRA, which is the MRA procedure used to detect these anomalies provides the vessel structure to appear more distinct and eases the process. Previously, convolutional neural networks (CNN) obtained great success in competitions with broad participation like ILSVRC and atracted the researchers studying in areas like semantic segmentation, classification and image retrieval. This trend recently also appeared in medical image classification and segmentation. Many successful studies are reported in domains such as brain lesion segmentation, brain tumor segmentation and lung lesion segmentation. However, currently no solution exists for vascular segmentation of the brain. Three different CNN architectures are adopted for vessel segmentation in this thesis: MODEL1, MODEL2, and a three pathway 2D architecture originally used for tissue segmentation. From these architectures, first two are our contributions and the latter is the architecture which was used in recent studies for a different purpose. We also evaluated different combinations of these architectures' results. The architectures presented in this thesis are tested in two different datasets. First data set was gathered from MIDAS MRA data set. As pre-processing, using a brain extraction method, structures like skull and nasal bone are eliminated. After that using a window/level transformation, a homogeneous distribution of color intensities between 0-255 is ensured. We also create and use a synthetic vessel dataset. For this data set, statistics of orientation and radius of vessel structures in MIDAS data set are obtained and new images are created randomly using these statistics. Consequently, a dataset with more curved structures and larger variations is obtained. Using both the synthetic and the real MRA datasets, the new CNN architectures are trained and tested. The obtained results of %68 dice ratio in the test set, demonstrate the capability of CNNs in the vessel segmentation problem, which is more challenging than other applications of segmentation, due to highly vascular anatomy, complex geometry and topology of tubular and bifurcating structures in vessels, and pathologies such as aneurysms. Furthermore, in this thesis, using segmentation results obtained from different architectures, fusion segmentations are obtained. For this purpose, as the first method, intersections of positive predictions is acquired and using the results from all the three architectures, a Dice ratio of %52 is obtained. As another method, weighted majority voting is used in which, different classifiers contributes to the final prediction according to their performances but no improvement is obtained.
Benzer Tezler
- COVID-19 pandemisi döneminde iskemik serebrovasküler olayların radyolojik analizi: Vaka kontrol çalışması
Radiological analysis of ischemic cerebrovascular events during the COVID-19 pandemic: A case control study
HASAN BASRİ GÖKSU
Tıpta Uzmanlık
Türkçe
2023
Radyoloji ve Nükleer TıpKahramanmaraş Sütçü İmam ÜniversitesiRadyoloji Ana Bilim Dalı
PROF. DR. NURSEL YURTTUTAN
- Radyolojik ileri görüntüleme tekniklerinin intrakranyal kitlelerin tanısına katkısının araştırılması
Contribution of advanced radiological imaging techniques to the diagnosis of intracranial masses
HÜSEYİN KASAP
Tıpta Uzmanlık
Türkçe
2021
Radyoloji ve Nükleer TıpSelçuk ÜniversitesiRadyoloji Ana Bilim Dalı
DOÇ. DR. MEHMET ÖZTÜRK
- Yüksek dereceli gliomlarda tedaviye bağlı gelişen radyonekrozun, nüks ya da rezidü tümöral lezyondan ayrımında bilgisayar temelli yapay zekânın rolü
The role of computer-based artificial intelligence in distinguishing treatment-related radiation necrosis from recurrent or residual tumoral lesions in high-grade gliomas
İBRAHİM ALTINDAŞ
Tıpta Uzmanlık
Türkçe
2024
Radyoloji ve Nükleer TıpSelçuk ÜniversitesiRadyoloji Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HALİL ÖZER
- Manyetik rezonans anjiyografi görüntülerinden beyin damarlarının bölütlemesi
Segmentation of brain vessels from magnetic resonance angiography images
ŞİNASİ KUTAY ÖZEN
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBaşkent ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MEHMET FEYZİ AKŞAHİN
- Beyin kan damarlarının derin öğrenme sinir ağları kullanılarak analizi
Analyzes of brain blood vessels using deep learning neural networks
TUĞÇE GÖKSU
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFatih Sultan Mehmet Vakıf ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BERNA KİRAZ
DR. ÖĞR. ÜYESİ MUSA AYDIN