Derin öğrenme yöntemleri için doğrusal olmayan aktivasyon fonksiyonlarının geliştirilmesi
Development of nonlinear activation functions for deep learning methods
- Tez No: 687589
- Danışmanlar: DOÇ. DR. METE ÇELİK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Erciyes Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 155
Özet
Derin öğrenme modellerinin çalışma hızının arttırılması, yerel minimuma takılmaması, doğruluk performasının arttırılması gibi özellikleri göz önüne alınarak aktivasyon fonksiyonları geliştirilmektedir. ReLU, sigmoid ve tanjant aktivasyon fonksiyonlarının kaybolan gradyan ve negatif bölge gibi problemlerinden dolayı derin öğrenme mimarilerini eğitmek zordur. Bu tez çalışmasında, kaybolan gradyan ve negatif bölge problemlerinin üstesinden gelmek için yeni sabit parametreli RSigELU aktivasyon fonksiyonları, çekirdek tabanlı hibrit KAF+RSigELU aktivasyon fonksiyonları ve eğitilebilir parametreli P+RSigELU aktivasyon fonksiyonları önerilmiştir. Ayrıca, derin öğrenme modellerinde hiper-parametre değerleri optimize edilmeden kullanıldığında model başarı performansı çok düşük olmaktadır. Hiper-parametre optimizsayonu, derin öğrenme mimarilerinin, hesaplama maliyetlerinin düşürülmesini ve doğruluk performaslarının arttırılmasını sağlanmaktadır. Tez çalışmasında, derin öğrenme mimarilerinin hiper-parametrelerinin optimizasyonu için sezgisel yöntemler kullanılmıştır. Çeşitli veriler üzerine gerçekleştirilen deneysel değerlendirmede, hiper-parametre optimizasyonu yapılmıştır ve literatürde bilinen ReLU ve swish aktivasyon fonksiyonlu derin öğrenme mimarilerinin sınıflandırma başarısı değerlendirilmiştir. Önerilen sabit parametreli RSigELU, çekirdek tabanlı KAF+RSigELU ve eğitilebilir P+RSigELU aktivasyon fonksiyonları ile literatürdeki çalışmalara göre daha yüksek başarı elde edilmiştir. Ayrıca hiper-parametre optimizasyonu için kullanılan yöntemler ile derin öğrenme modellerinin başarımları arttırılmıştır.
Özet (Çeviri)
Activation functions are developed by taking into account the features of deep learning models, such as increasing the working speed of the model, not getting stuck in the local minimum, and increasing the accuracy performance. Deep learning architectures are difficult to train due to the problems of ReLU, sigmoid and tangent activation functions such as vanishing gradient and negative region. In this thesis study, new fixed parameter activation functions (RSigELU), kernel-based hybrid activation functions (KAF+RSigELU), and trainable P+RSigELU activation functions are proposed to overcome these problems. In addition, when the hyper-parameter values are not optimized in deep learning models, the model success performance is very low.. Hyper-parameter optimization enables deep learning architectures to reduce computational costs and increase accuracy performance. In the thesis study, heuristic methods have been used for optimization of hyper-parameters of deep learning. In the experimental evaluations on various datasets, hyper-parameter optimization was performed and classification success of ReLU and swish activation functions was evaluated. The proposed fixed parameter RSigELU, kernel-based KAF+RSigELU, and trainable P+RSigELU activation functions outperformed other activation functions. In addition, the methods, used for hyper-parameter optimization, increased the performance of the deep learning models
Benzer Tezler
- Design and deployment of deep learning based fuzzy logicsystems
Derin öğrenme tabanlı bulanık sistemlerin geliştirilmesi ve uygulanması
AYKUT BEKE
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUFAN KUMBASAR
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR
- Derin öğrenme ve büyük veri analitiği yöntemleriKullanarak Covid-19 yayılımının ileriye dönük tahmini
Forecasting the spread of covid-19 using deep learning and big data analytics methods
CYLAS KIGANDA
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
PROF. DR. MUHAMMET ALİ AKCAYOL
- Classification of abnormal respiratory sounds using deep learning techniques
Solunum seslerinin derin öğrenme yöntemleri ile sınıflandırılması
AHAMADI ABDALLAH IDRISSE
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
DOÇ. DR. OKTAY YILDIZ
- Derin metrik öğrenme ile histopatolojik görüntülerin sınıflandırılması
Classification of histopathological images with deep metric learning
MAHMUT KAYA
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HASAN ŞAKİR BİLGE