Derin öğrenme modelleri için yeni ve özgün aktivasyon fonksiyonlarının geliştirilmesi
Development of new and novel activation functions for deep learning models
- Tez No: 907271
- Danışmanlar: DOÇ. DR. METE ÇELİK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Erciyes Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Derin öğrenme, insana ait davranışları büyük verileri kullanarak öğrenme algoritmalarıyla makinalara kazandırabilen sistemler bütünüdür. Derin öğrenmede kullanılan evrişimli sinir ağı modelleri verileri işleyerek analiz eder ve anlamlı çıktılar üretir. Derin öğrenme modelleri verileri sisteme tanıtmak ve analiz etmek için aktivasyon fonksiyonlarını kullanılırlar. Aktivasyon fonksiyonları ağ modellerinin ara katmanlarında görev alırlar ve üretilen çıktıların nasıl değişmesi gerektiğini belirlerler. Derin öğrenmede kullanılan aktivasyon fonksiyonlarında çeşitli problemler olabilmektedir. Fonksiyonlar kaybolan gradyan problemine sahip olabilmektedir, belirlenen aralıklar içerisinde değer üretemeyebilmektedir, türevlenebilir yapıda olmamaktadır veya doğrusal olmayan yapıda olmamaktadır. Bu problemlerin üstesinden gelmek için, literatürde, Sigmoid, Tanh, Swish, ReLU ve Mish gibi doğrusal ve monoton olmayan aktivasyon fonksiyonları geliştirilmiştir. Bu aktivasyon fonksiyonları derin öğrenme modellerinde iyi performans göstermesine rağmen bunlardan sadece birkaçı çoğunlukla tüm derin öğrenme uygulamalarda yaygın olarak kullanılabilmektedir. Bu sebeple derin öğrenme modellerinin performansınlarını arttırmak, kullanım alanlarını genişletmek ve bahsedilen problemlerin üstesinden gelebilmek için, bu çalışmada, hiperbolik tanjant (TanH) ve SoftSign aktivasyon fonksiyonları kullanılarak geliştirilen TanHardEx ve HTanH aktivasyon fonksiyonları önerilmiştir. Önerilen TanHardEx ve HTanH aktivasyon fonksiyonları doğrusal ve monoton değillerdir ve tek parametreli, sürekli ve türevlenebilir bir yapıya sahiptir. Önerilen aktivasyon fonksiyonlarının performansları literatürde var olan aktivasyon fonksiyonlarının performansları ile karşılaştırılmış ve başarılı sonuçlar alınmıştır.
Özet (Çeviri)
Deep learning is a set of systems that can bring human behaviors to machines with learning algorithms using big data. Convolutional neural network models used in deep learning process analyze data and produce meaningful outputs. Deep learning models use activation functions to introduce and analyze data into the system. Activation functions take part in the middle layers of network models and determine how the outputs produced should change. There may be various problems with the activation functions used in deep learning. Functions may have a vanishing gradient problem, may not produce values within specified intervals, may not be differentiable or nonlinear. To overcome these problems, in the literature, linear and non-monotonic activation functions such as Sigmoid, Tanh, Swish, ReLU and Mish have been proposed. Although these activation functions perform well in deep learning models, only a few of them can be widely used in mostly all deep learning applications. For this reason, in this study, TanHardEx and HTanH activation functions, which are developed by using hyperbolic tangent (TanH) and SoftSign activation functions, are proposed in order to increase the performance of the deep learning models, expand their usage areas and overcome the mentioned problems. The proposed TanHardEx and HTanH activation functions are non-linear and non-monotonic and have a single parameter, continuous and differentiable structure. The performances of the proposed activation functions were compared with the performances of the activation functions available in the literature and successful results were obtained.
Benzer Tezler
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR
- Derin sinir ağları başarı performanslarının özgün yöntemlerle geliştirilmesi
Improving of deep neural networks success performances with novel methods
MUSTAFA KAYTAN
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CELALEDDİN YEROĞLU
DOÇ. DR. İBRAHİM BERKAN AYDİLEK
- Türkiye'de aile planlaması çalışmalarında erkeklerin önemi, hastane personeli ile fabrika işçilerinin doğum kontrol yöntemlerine karşı tutum ve davranranışlarında farklılığın araştırılması
Başlık çevirisi yok
KAMİL MALKOÇLU
Yüksek Lisans
Türkçe
1987
Demografiİstanbul ÜniversitesiAile Sağlığı Ana Bilim Dalı
DOÇ. DR. DERİN KÖSEBAY
- Değişik derim zamanı ve önsoğutmanın Bursa siyahı incir çeşidinin meyve kalitesi ve pazarlama süresi üzerine etkileri
Effects of haruest time and precooling on fruit quality and shelf-life of the fig variety“Bursa siyahı”
FÜSUN GÜRSEL ÇELİKEL
- Tekstil boyamacılığında atık flottede boyama imkanları üzerine araştırma
Başlık çevirisi yok
MEHMET YAKARTEPE
Yüksek Lisans
Türkçe
1985
Tekstil ve Tekstil MühendisliğiEge ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. KERİM DURAN