A gan-based hybrid data augmentation framework on chest x-ray images and reports
Göğüs x-ray görüntüleri ve raporları üzerine gan tabanlı hibrit veri güçlendirme yöntemi
- Tez No: 764383
- Danışmanlar: DOÇ. DR. ARZUCAN ÖZGÜR TÜRKMEN, DR. PINAR YANARDAĞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 79
Özet
Klasik veri artırma teknikleri, yeterli eğitim verisinin olmadığı birçok görüntü sınıflandırma uygulaması tarafından yaygın olarak kullanılmaktadır. Bu veri artırma teknikleri, yansıtma, rastgele kırpma, mevcut görüntülerin yeniden ölçeklenmesi ve dönüşümlerden oluşur. Bu teknikler yardımıyla gerçek veri kümelerinin artırılmış halinin sınıflandırıcıların eğitimi sırasında kullanılması günümüzde popülerdir. Gerçek-çi sentetik verilerle veri kümesi boyutunu artırmak, veri kümesine yeni ve gerçekçi varyasyonlar katılması vesilesiyle bu veri kümesi üzerinde eğitilen sınıflandırıcıların doğruluğunu artırmamızı sağlamaktadır. GAN'ların temsil gücü ile birlikte gerçek verilerin dağılımını tutarlı bir çeşitlilik düzeyiyle öğrenmesi, neredeyse gözlemlenmeyen ayırt edici özelliklere sahip örnekler oluşturmamızı sağlar. Yaklaşımımızda, StyleGAN2-ADA şeklinde adlandırılan GAN veri artırma yöntemini kullanarak GAN'ların yukarıda bahsedilen yaratıcı yeteneklerinden faydalandık. Sınıf koşullu SytleGAN2ADA eğiti-minden sonra, başarım ve veri artırma miktarı arasındaki korelasyonu gözlemlemek için veri kümesini farklı miktarlarda oluşturulan ek örneklerle genişlettik. Ayrıca GAN vasıtasıyla veri kümelerini güçlendirme alanında yeni bir yaklaşım olan ayrıştırılmış özelliklere yönelik veri artırma yöntemini denemek için StyleCLIP'i kullandık. Style-CLIP'ten daha iyi faydalanabilmek amacıyla CLIP modelini x-ray görüntüleri ve raporlardan ayıklanmış anahtar cümleciklerle tekrar eğittik. GAN veri artırma yöntemlerinin performansını test etmek için CheXpert yarışması birincisi olan DeepAUC yöntemini kullandık. Yaklaşımımızda sınıflandırma başarımlarının GAN veri artırma yöntemleri-nin kullanılmadığı durumlara göre daha yüksek olduğunu gözlemledik.
Özet (Çeviri)
Classical data augmentation techniques are widely used by many image classification applications in the absence of adequate training data. These data augmentation techniques consists of but not limited with reflection, random cropping, re-scaling existing images and transformations. These techniques are widely used in practice during training classifiers with extended versions of real-world datasets. Increasing dataset size with realistic synthetic data allows us to improve the classification accuracy by making use of additional realistic variety. With the great representational power of GANs, learning the distribution of real data with a consistent level of variety allows us to generate samples with nearly-unobserved discriminative features. In our approach we used the aforementioned generative capability of GANs by utilizing state of the art GAN augmentation framework titled as StyleGAN2-ADA. After the training SytleGAN2-ADA in class conditional setting, we extended the dataset with different numbers of additional generated samples in order to observe the correlation of accuracy and augmentation strength. We extended our approach by using StyleCLIP to experiment disentangled feature augmentations which is a novel approach in the field of GAN augmentation. To make use of StyleCLIP more efficiently, we fine-tuned CLIP with x-ray images and modified entities which are extracted from corresponding medical reports. We used the DeepAUC framework which is proven to be efficient for multi-disease labelled x-ray classification tasks to test the performance of the GAN augmentation. In our approach, we observed that the classification accuracies were improved compared to without text-manipulated GAN augmented setting.
Benzer Tezler
- Derin öğrenmeye dayalı bir imza doğrulama yönteminin geliştirilmesi
Development of a signature verification method based on deep learning
MUHAMMED MUTLU YAPICI
Doktora
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. NURETTİN TOPALOĞLU
DR. ADEM TEKEREK
- Deepfake image/video detection and classifications using deep learning techniques
Derin öğrenme teknikleri kullanılarak deepfake görüntü/video tespiti ve sınıflandırmaları
DEO RUTIKANGA
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTürk Hava Kurumu ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ZEYNEL DEPREM
- Human activity recognition using deep learning
Derin öğrenme ile insan aktivitesi tanıma
MURAT YALÇIN
Yüksek Lisans
İngilizce
2018
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HÜLYA YALÇIN
- Nesnelerin interneti temelli akıllı şebekelerde güvenlik zafiyetlerinin tespiti ve çözümüne yönelik yeni yaklaşımların geliştirilmesi
Developing new approaches for detecting and solving security vulnerabilities in internet of things based smart grids
MUHAMMED ZEKERİYA GÜNDÜZ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. RESUL DAŞ
- Üretken ağlar ve uygulamaları
Generative networks and their applications
GAFFARİ ÇELİK
Doktora
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUHAMMED FATİH TALU