Küçük veri setleri için derin öğrenme
Deep learning for small datasets
- Tez No: 662027
- Danışmanlar: PROF. DR. AYBARS UĞUR
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: Türkçe
- Üniversite: Ege Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 114
Özet
Büyük miktarda veri ihtiyacı, derin öğrenme yöntemlerinin en zorlu gereksinimlerinden biridir ve yeterli miktarda verinin bulunmadığı durumlarda eğitim sırasında 'ezberleme' ve 'öğrenememe' gibi sorunlar ile karşılaşılmaktadır. Bu sorunlar sebebiyle derin öğrenme algoritmalarının, veri kaynaklarının sınırlı olduğu alanlara uygulanması, geleneksel yöntemlere göre daha güç olmaktadır. Derin öğrenme tekniklerinin, küçük veri kümeleri üzerindeki performansları; veri çoklama, sınıflandırıcı toplulukları ve transfer öğrenme gibi yaklaşımlar ile 'ezberleme' ve 'öğrenememe' etkilerinin azaltılmasıyla iyileştirilebilmektedir. Bu tezde, öncelikle görüntü veri setleri üzerinde bahsedilen yöntemler incelenmekte ve ardından bu yöntemler için 4 yeni yaklaşım önerilmektedir. Sunulan yeni yöntemlerin sınanmasında Cifar10, Animal10, Caltech101 gibi veri setlerinin örneklenerek ezberleme etkilerinin görünür hale geldiği küçük alt kümelerinden faydalanılmıştır. Sınıflandırıcı toplulukları kapsamında önerilen yaklaşımda derin sinir ağlarından oluşan bir sınıflandırıcı topluluğu için topluluğu oluşturan ağların nihai karara etki miktarları, iteratif olarak ayarlanmaktadır. Örneklenerek küçültülmüş Cifar10 veri seti üzerinde gerçekleştirilen deneylerde geleneksel topluluk yöntemlerine göre daha başarılı sonuçlar elde edilmiştir. Önerilen ikinci yöntemde ise sınıflandırıcı toplulukları ve transfer öğrenme tekniklerinden faydalanılarak, farklı sayıda katmanın transfer edilmesiyle oluşturulan bir topluluk çatısı ve skorlama yöntemleri önerilmektedir. Farklı boyutlarda örneklenerek küçültülmüş Cifar10 veri seti ile gerçekleştirilen deneylerde, sunulan yaklaşımın standart topluluk ve transfer öğrenme tekniklerine göre daha başarılı sonuçlar ürettiği gözlenmiştir. Önerilen sonraki yöntemde veri çoklama bağlamında, Üretici Çekişmeci Ağlar ve Stil Transferi yöntemleriyle küçük setler için sentetik veri üretimi üzerine bir prosedür geliştirilmiş ve sınanmıştır. Son yaklaşımda ise desen odaklı görüntü bölütlemeden faydalanan yeni bir teknik de önerilmiş ve bu teknik, örneklenmiş Animal10 ve Caltech101 veri setleri üzerinde literatürdeki benzer bir veri çoklama yöntemi ile karşılaştırılmıştır. Elde edilen sonuçlar önerilen yaklaşımın, benzerlerine göre küçük veri setleri üzerinde daha yüksek doğruluk oranları ürettiğini göstermiştir.
Özet (Çeviri)
The need for large amounts of data is one of the most challenging requirements of deep learning methods, and problems such as 'overfitting', 'underfitting' are encountered during training in cases where there is not enough data. Due to these problems, the applicability of deep learning algorithms, to the domains where the data sources are limited, is more difficult than traditional methods. Performances of the deep learning techniques on small data sets can be improved by employing ensemble learning, transfer learning and data augmentation approaches. These techniques reduce overfit and underfit effects. In this thesis; firstly, data augmentation, ensemble learning, and transfer learning techniques were investigated on image data sets then 4 new approaches were proposed for them. The new methods were tested on, sub-sampled versions of Cifar10, Animal10 and Caltech101 image data sets. Sampling rates were determined with respect to the set sizes in which overfit effects were seen on. The first method, which is proposed under the scope of ensemble learning, iteratively adjusts the ensemble contribution weights of a deep neural network classifier ensemble. The experiments which were conducted on sub-sampled Cifar10 data set revealed better results compared to traditional ensemble approaches. The second approach makes use of both ensemble learning and transfer learning principles and it introduces a novel ensemble framework with new ensemble scoring mechanisms. According to the experiments which were conducted on sub-sampled Cifar10 data set, it was observed that the suggested approach produces more successful results on small data sets than the traditional ensemble and transfer learning methods. In the next approach, as a part of data augmentation; a new synthetic data generation procedure has been developed by employing Generative Adversarial Networks and Style Transfer methods and tested. In the last suggested approach, a novel synthetic image generation approach, which utilizes texture-oriented segmentation, has been proposed. The experiment results for sub-sampled Animal10 and Caltech101 data sets revealed that the proposed image generation approach increases classification accuracy on a small set better than a counterpart in literature.
Benzer Tezler
- Early detection of forest fire from video utilizing temporal information
Zamansal bilgiden faydalanarak videodan orman yangınlarının erken tespiti
MERVE TAŞ
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAbdullah Gül ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ KASIM TAŞDEMİR
DOÇ. DR. ZAFER AYDIN
- Derin öğrenme ile cerrahi video anlama
Surgical video understanding with deep learning
ABDISHAKOUR ABDILLAHI AWALE ABDISHAKOUR ABDILLAHI AWALE
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DUYGU SARIKAYA
- Evrişimli sinir ağları ile yüksek çözünürlüklü uydu görüntülerinden uçak tespiti
Aircraft detection from high resolution satellite images with convolutional neural networks
EMİNE DİLŞAD ÜNSAL
Yüksek Lisans
Türkçe
2021
Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Derin öğrenme tabanlı şiddetli farenjit tespiti
Deep learning based severe pharyngitis detection
TUĞBA TAK
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HAKAN KUTUCU
- Finsentiment: Predicting financial sentiment and risk through transfer learning
Başlık çevirisi yok
ZEHRA ERVA ERGÜN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE SEFER