Skin lesion classification using deep convolutional neural network and HSV color space
Derin evrişimsel sinir ağı ve HSV renk uzayı kullanarak cilt lezyonlarının sınıflandırılması
- Tez No: 512333
- Danışmanlar: PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 65
Özet
Bu çalışmada ISIC 2017 yarışma veri setini kullanarak derin evrişimsel sinir ağ ve HSV renk uzay bazlı deri lezyonu sınıflandırmasını sunduk. Yarışmanın ana amacı, katılımcıların dermoskopik görüntülerden melanom tanısını otomatik olarak yapabilmeleri için analitik görüntü araçları geliştirmelerine yardımcı olmaktır. Cilt lezyonları görüntü analizi üç bölümden oluşur: lezyon segmentasyonu, tespit ve lokalizasyon ve cilt lezyon sınıflandırması. Bu tek üçüncü bölüm kapsamında belirtilen yarışmanın - deri lezyonu sınıflandırması üzerinde yoğunlaştık. Bu veri seti, tüm görüntü analizlerine katılmak için eğitim verisinden (2000 resim) oluşmaktadır. Ayrıca, doğrulama ve test sonuçları oluşturmak için ayrı bir doğrulama veri seti (150 resim) ve test veri seti (600 resim) içermektedir. İki tür sınıflandırma testi yapıldı. Birincisi hastalıksız (benign) ve hastalıklı (malignant) görüntülerin sınıflandırılmasıdır. İkincisi, cilt lezyonlarının (melanom, nevus ve seboreik keratoz) üç benzersiz tanısını içeren iki bağımsız ikili görüntü sınıflandırması görevidir. İlk ikili sınıflandırma görevinde, (a) melanom ve (b) nevüs ve seboreik keratoz arasında ayrım yapılması istenir. İkinci ikili sınıflandırma görevinde, (a) seboreik keratoz; ve (b) nevüs ve melanom. Veri kümelerindeki tüm ilk görüntüler, bir ikili maskenin tipinde yenilgi sınırlarının uzman el ile izlenmesi ile eşlik edilen lezyonun segmentasyon görüntülerini içerir. Maske, yarı otomatik işlem (kullanıcı tarafından sağlanan başlangıç noktasının kullanımı, kullanıcı tarafından ayarlanan taşma dolum algoritması ve morfolojik filtreleme) kullanılarak uzman klinik doktor tarafından veya manuel olarak kullanıcı tarafından sağlanan noktaların poligonu ile oluşturuldu. İkili maskeler cilt lezyon bölgesinin sınırlayıcı dikdörtgenlerini bulmamıza yardım eder. İlgi bölgesini (ROI) tespit etmenin kolay bir yolu, kontur algılama fonksiyonuna sahip OpenCV kütüphanesinin kullanılmasıdır. Sınırlayıcı kutuların koordinatlarına neden olan ikili bir maskeli görüntülere uygulandı. Bu dikdörtgenleri kullanarak ve boy oranını aynı tutarak, cilt lezyon bölgeleri segmente edildi ve 500x500 piksel boyutuna getirildi. Görüntülerin derin evrişimsel sinir ağına verilmeden önce RGB görüntüleri HSV renk uzayına dönüştürülmüştür. Piksel değeri değiştiğinde RGB renk alanında bu renk pikseli kırmızı, yeşil ve mavi kanalların yoğunluğunu değiştirir. Bu, pikselin renginin (hue), yoğunluğunun (saturasyon) ve doygunluğunun (value), renk varyasyonlarıyla bağlantılı olduğu anlamına gelir. Zor renk ortamında renk değişiminin gözlemlenmesi zorlaşır; ancak HSV renk alanı rengi bir ton (hue), yoğunluk (saturasyon) ve değere (value) ayırır, ve bu, renk değişimlerinin gözleminin ayrı ayrı ayırt edilebileceği anlamına gelir. Böylece, HSV renk uzayı, RGB renk uzayından renkleri daha iyi tanımlar. Sınıflandırıcıyı daha sağlam hale getirmek için ön işlemden sonra, veri büyütme (data augmentation) yapılmıştır. Bu araştırmada, veri büyütme görüntülerin dönüşü, kayması ve çevrilmesi şeklinde gerçekleştirilmiştir. Bu tekniğin kullanılmasının sebebi veri sayısının sinir ağını eğitmek için yetersizliğidir. Veri büyütme özelliğini kullanarak, aynı bağlamda görüntüler üretiriz, ancak kaydırılır, döndürülür ve çevrilir. Görüntüler üzerinde farklı bakış açılar sağlar. İlk test hastalıksız (benign) ve hastalıklı (malignant) görüntülerin sınıflandırılmasını içermektedir. Bu görev için aktarma öğrenme (transfer learning) kullanılmıştır. Bunun için InceptionV3 modeli seçildi. Bu ağ modeli Google tarafından büyük bir veri setinde etilmiştir. İkinci test iki alttakımdan oluşur: (A) melanoma and nevus + seborrheic keratosis; ve (B) seborrheic keratosis and nevus + melanoma görüntülerin sınıflandırılması. Bu görevler için, her bir evrişimsel katman arasında toplu normalleştirme ile derin bir ağ kuruldu. Toplu normalleştirme, öğrenme hızını arttırmaya yardımcı olur. Tüm eğitilen modellerin test seti üzerinde değerlendirilmesi için ölçümler olarak, eğri altındaki alan ve doğruluk ölçümleri kullanıldı. İlk (benign / malignant) sınıflandırma için test setinde 0.55 AUC ve %70 doğruluk elde edildi. İkincisi iki görev içerir: (melanoma / nevus + seborrheic keratosis) için 0.61 AUC ve %80 doğruluk ve (seboreik keratoz / nevus + melanoma) görevi için 0.65 AUC ve %87 doğruluk elde edildi. Tüm çalışmalar Intel i5 6. nesil bir işlemci ve 2 GB Nvidia GeForce 940M GPU içeren dizüstü bilgisayar üzerinde gerçekleştirildi. Derin bir evrişimsel sinir ağı çok fazla işlem gücü tükettiğinden, NVIDIA, CUDA araç takımı ve cuDNN kullanılmıştır. Yüksek verimli GPU hızlandırılmış uygulamalar oluşturmak için tasarım ortamını erişilebilir kılarlar. Buna ek olarak, çalışmanın hızlı prototip gelişimi için TensorFlow ve Keras yüksek düzey kütüphaneler tercih edildi. TensorFlow, insan algısının kalitesine ulaşarak görüntüleri otomatik olarak bulmak ve sınıflandırmak için bir sinir ağını inşa etme ve öğrenme sorunlarını çözmek için Google tarafından geliştirilen makine öğrenimi için bir açık kaynaklı kütüphanedir. Keras, Python programlama dilinde yazılmış açık bir sinir ağ kütüphanesidir.
Özet (Çeviri)
In this work, deep convolutional neural network and HSV color space based skin lesion classification using ISIC 2017 challenge dataset was analyzed. The main aim of the challenge is to assist participants to develop analytical image tools in order to automatically make a diagnosis of melanoma from dermoscopic images. Skin lesions image analysis consists of three parts: lesion segmentation, detection and localization and disease classification. In this study, it was concentrated on skin lesion classification part of the challenge. This dataset consists of training data (2000 images) to participate in all image analysis. A separate public verification data set (150 images) and a blind held out a test dataset (600 images) is provided to generate verification and testing results. Two types of classification tests are performed. First one is the classification of benign or malignant images. The second one is two independent binary image classification tasks that involve three unique diagnoses of skin lesions (melanoma, nevus, and seborrheic keratosis). In the first binary classification task, it is asked to distinguish between melanoma and nevus + seborrheic keratosis images. In the second binary classification task, it is asked to distinguish between seborrheic keratosis and nevus + melanoma images. All initial images in data sets include images of segmentation of lesion which are accompanied by an expert manual trace of borders of defeat in a type of a binary mask. Masks are created by the specialist clinical physician with use of semi-automatic process (with use of the initial point provided by the user, an algorithm of filling of floods which is adjusted by the user and morphological filtration) or manual process (from a series of the polyline of the point provided by the user). Binary masks help us to find the bounding rectangles of the skin lesion area. An easy way to detect the ROI is to use of OpenCV library that has contour detection function. It was applied to images with a binary mask resulting in coordinates of the bounding boxes. Using these rectangles and keeping the aspect ratio the same, lesion areas have been segmented and resized to 500x500 pixel in size. Before submission of images in a deep convolutional neural network, the images of RGB are transformed to the HSV color space. In the RGB color space when the value of pixel changes, changes the intensity of red, green and blue channels of this color pixel. It means that color, the intensity, and saturation of pixel are connected with variations of color. Observation of change of color in the difficult color environment becomes difficult; however the HSV color space divides color into a hue, saturation, and value. In other words it means that observation of color variations can be distinguished individually. Thus, the HSV color space describes color better, than the RGB color space. After preprocessing data augmentation was performed, such as rotation, shifting and flipping of images. This technique was utilized since our data size is relatively small to train the neural network. Using data augmentation images with the same context but shifted, rotated and flipped were produced. It provides different points of view on images. The first test that includes classification of benign and malignant images, transfer learning was used. As a model InceptionV3 was chosen. This network model is produced by Google. The second test consists of two subtasks: classification of (A) melanoma and nevus + seborrheic keratosis; and (B) seborrheic keratosis and nevus + melanoma images. For these tasks, a deep network with batch normalization between each convolutional layers was built. Batch normalization helps to increase the learning speed. As performance metrics for evaluation of all trained models on a test set, the area under curve and accuracy metrics were used. For the first (benign/malignant) classification, 0.55 area under the ROC curve (AUC) and 70% accuracy on the test set were achieved. The second one contains two tasks: for (melanoma/nevus+seborrheic keratosis) task, 0.61 area under the ROC curve and 80% accuracy and for (seborrheic keratosis/nevus+melanoma) task 0.65 area under the ROC curve and 87% accuracy were reached. All works were performed on the notebook, which includes a CPU of the Intel i5 6th generation and a 2 GB Nvidia GeForce 940M GPU. Since a deep convolutional neural network requires computing power, NVIDIA, the CUDA toolkit and cuDNN have been used. They make the design environment accessible in order to create highly efficient GPU-accelerated applications. In addition, TensorFlow and Keras were preferred as high-level frameworks for rapid prototype development of the study. TensorFlow is a public library of software for machine learning developed by Google to solve the problems of building and learning a neural network, to automatically find and classify images, having reached the quality of human perception. Keras is an open neural network library written in Python programming language. This is an additional wrapper for the TensorFlow and Theano frameworks, which allows us to easily switch between them.
Benzer Tezler
- Dermoskopik görüntülerden melanomanın derin evrişimsel sinir ağları ile teşhisi
Diagnosis of melanoma in dermoscopic images with deep convolutional neural networks
ENES AYAN
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKırıkkale ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HALİL MURAT ÜNVER
- A novel approach for hair removal in skin cancer images to enhance segmentation and classification performance.
Deri kanseri görüntülerinin sınıflandırma ve bölütleme performansını artırmak için kıl gidermede yeni bir yaklaşım
AYYAD ERRAJI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Assist. Prof. Dr. ZAFER İŞCAN
- Malign Melanom ve Nevus'un makine öğrenimi ve derin öğrenme yöntemleri ile sınıflandırılması
Classification of Malignant Melanoma and Nevus by machine learning and deep learning methods
ENVER EKREM UÇAR
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Sabahattin Zaim ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. FARZAD KIANI
- Classification of melanoma malignancy in dermatology
Dermatolojide melanoma malignansının sınıflandırılması
BİLGE SÜHEYLA GAZİOĞLU
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Detection and classification of melanoma using a dense convolutional neural network
Yoğun bir konvolüsyonel sinir ağı kullanarak melanomun tespiti ve sınıflandırılmasıgeliştirilmesi
MOHAMMED YOUSIF ARABI AL-KHUZAIE
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ADNAN SAHER MOHAMMED AL-AJEELI