A comparison of loss functions in deep embedding
Derin gömme yitim fonksiyonlarının karşılaştırılması
- Tez No: 467556
- Danışmanlar: PROF. DR. NAFİZ ARICA
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Derin Öğrenme, Derin Gömme, Yitim Fonksiyonu, Deep Learning, Deep Embedding, Loss Function
- Yıl: 2017
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 80
Özet
Son yıllarda, bilgisayarla görme problemlerinde Derin Öğrenme yöntemleri kullanımı yaygınlaşmıştır. Derin Sinir Ağlarının Eğitimi, bir yitim fonksiyonunun en aza indirgenmesi problemini içeren bir tür optimizasyon problemi olarak ifade edilebilir. Yitim fonksiyonları, modelin neyi öğrenmesi istendiğine bağlı olarak belirlenir. Derin Öğrenme uygulamalarında yitim fonksiyonları önemli bir role sahip olmakla birlikte, literatürde kapsamlı bir karşılaştırma içeren bir çalışma bulunmamaktadır. Bu tezde, görüntü sınıflandırma probleminde mevcut yitim fonksiyonları karşılaştırılarak literatürdeki bu boşluk doldurulmaya çalışılmıştır. Bu amaçla çeşitli yitim fonksiyonlarını, yaygın olarak kullanılan üç farklı Evrişimli Sinir Ağı modeli (AlexNet, VGG, GoogleNet) üzerinde test edilmektedir. Deneyler farklı bilgisayarla görü problemleri için yaratılmış dört veri kümesinde yürütülmektedir. El yazısı tanıma ve nesne tanıma problemleri için sırasıyla MNIST ve CIFAR-10 veri kümeleri, yüz duygu sınıflandırma için CIFE ve GaMO veri kümeleri kullanılarak deneyler gerçeklenmektedir. Deneylerde sınıflandırma doğruluğu açısından üçlü yitim fonsksiyonlarının diğerlerine göre bir parça daha yüksek performans gösterdiği söylenebilir. Hız ve bellek kullanımı açısından sırasıyla Üçlü Yitim Fonksiyonu ve Kategorik Çapraz Entropi Fonksiyonu en verimli olanlarıdır. Ayrıca Üçlü yitim fonksiyonu ve Histogram yitim fonksiyonları, tüm veri setleri ve sinir ağı modelleri için ilk 3 sonuç incelendiğinde daha iyi sınıflandırma sonucu vermektedir. Yüz duygu sınıflandırma problemi için kullanılan GaMO ve CIFE veritabanları üzerinde şu ana kadar yayınlanmış en yüksek sonuçlara ulaşılmaktadır. CNN mimarileri arasında, en yüksek sınıflandırma sonuçları, tüm veri vii setlerinde VGG mimarisinde ve en düşük sınıflandırma sonnuçları ise AlexNet mimarisinde elde edilmektedir. Hem CPU, hem de GPU üzerinde VGG eğitimi en yavaş eğitim olurken, AlexNet mimarisi ile en hızlı eğitim gerçekleştirilmektedir.
Özet (Çeviri)
In recent years, Deep Learning has become widespread in the solution of computer vision problems. Training of Deep Neural Networks is a kind of optimization problem, where a loss function is to be minimized. Loss functions are determined based on what we want the model to learn according to some criteria. Although loss functions have an important role in Deep Learning applications, an extensive comparison of them is not available in the literature. In this thesis, we try to fill this gap in the literature by comparing available loss functions in image classification problem. To this end, we implement various loss functions and train three widely used Convolutional Neural Network (CNN) models (AlexNet, VGG, GoogleNet) on three different image classification applications. We carry out the experiments on four data sets. MNIST and CIFAR-10 datasets are used for handwritten digit and object classifion problems respectively. CIFE and GaMO datasets are used for facial expression classification. In addition, we propose two new hybrid loss functions in this thesis. In the experiments, it is found that the triplet loss functions performes slightly better classification accuracies than the other loss functions. On the other hand, the most efficient ones in terms of speed and memory usage, are triplet and categorical cross entropy loss functions, respectively. If we consider the top 3 best scores, triplet loss and histogram loss functions give better results in all data sets and neural network models. Besides, we reached the state-of-the-art on GaMO and CIFE databases. Among CNN architectures, the highest classification results are obtained by VGG architecture in all v the data sets. AlexNet architecture gains the worst results. While VGG training is the slowest and AlexNet is the fastest on CPU also on GPU.
Benzer Tezler
- Kripto para piyasasının volatilite öngörümlemesi: GARCH modellerinin ve derin öğrenme algoritmalarının karşılaştırması
Volatility forecasting of the cryptocurrency market: A comparison of GARCH models and deep learning algorithms
ÖMER BURAK AKGÜN
Yüksek Lisans
Türkçe
2023
EkonometriDokuz Eylül ÜniversitesiEkonometri Ana Bilim Dalı
DOÇ. DR. EMRAH GÜLAY
- Mobil sağlık uygulamalarında makine öğrenmesi temelli model geliştirme ve modelin cihaz-bulut dağıtımı
Machi̇ne learning-based model deployment in mobile health applications and device-cloud deployment
ÖZGE ÇİÇEK
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SEMA CANDEMİR
- A comparison of deep neural network architectures for COVID-19 detection using CT chest images
Göğüs BT görüntüleriyle COVID-19 tespitinde derin sinir ağı mimarilerinin karşılaştırılması
MEHMET TUNAHAN SARIOĞLU
Yüksek Lisans
İngilizce
2022
Bilim ve TeknolojiOrta Doğu Teknik ÜniversitesiSağlık Bilişimi Ana Bilim Dalı
PROF. DR. ÜNAL ERKAN MUMCUOĞLU
- Topics in optimization via deep neural networks
Derin sinir ağları üzerinden eniyileme konuları
ÖMER EKMEKCİOĞLU
Yüksek Lisans
İngilizce
2022
Endüstri ve Endüstri Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ÇELEBİ PINAR
- Design and deployment of deep learning based fuzzy logicsystems
Derin öğrenme tabanlı bulanık sistemlerin geliştirilmesi ve uygulanması
AYKUT BEKE
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR