Derin öğrenme modelleri için yeni ve özgün aktivasyon fonksiyonlarının geliştirilmesi
Development of new and novel activation functions for deep learning models
- Tez No: 907271
- Danışmanlar: DOÇ. DR. METE ÇELİK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Erciyes Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 73
Özet
Derin öğrenme, insana ait davranışları büyük verileri kullanarak öğrenme algoritmalarıyla makinalara kazandırabilen sistemler bütünüdür. Derin öğrenmede kullanılan evrişimli sinir ağı modelleri verileri işleyerek analiz eder ve anlamlı çıktılar üretir. Derin öğrenme modelleri verileri sisteme tanıtmak ve analiz etmek için aktivasyon fonksiyonlarını kullanılırlar. Aktivasyon fonksiyonları ağ modellerinin ara katmanlarında görev alırlar ve üretilen çıktıların nasıl değişmesi gerektiğini belirlerler. Derin öğrenmede kullanılan aktivasyon fonksiyonlarında çeşitli problemler olabilmektedir. Fonksiyonlar kaybolan gradyan problemine sahip olabilmektedir, belirlenen aralıklar içerisinde değer üretemeyebilmektedir, türevlenebilir yapıda olmamaktadır veya doğrusal olmayan yapıda olmamaktadır. Bu problemlerin üstesinden gelmek için, literatürde, Sigmoid, Tanh, Swish, ReLU ve Mish gibi doğrusal ve monoton olmayan aktivasyon fonksiyonları geliştirilmiştir. Bu aktivasyon fonksiyonları derin öğrenme modellerinde iyi performans göstermesine rağmen bunlardan sadece birkaçı çoğunlukla tüm derin öğrenme uygulamalarda yaygın olarak kullanılabilmektedir. Bu sebeple derin öğrenme modellerinin performansınlarını arttırmak, kullanım alanlarını genişletmek ve bahsedilen problemlerin üstesinden gelebilmek için, bu çalışmada, hiperbolik tanjant (TanH) ve SoftSign aktivasyon fonksiyonları kullanılarak geliştirilen TanHardEx ve HTanH aktivasyon fonksiyonları önerilmiştir. Önerilen TanHardEx ve HTanH aktivasyon fonksiyonları doğrusal ve monoton değillerdir ve tek parametreli, sürekli ve türevlenebilir bir yapıya sahiptir. Önerilen aktivasyon fonksiyonlarının performansları literatürde var olan aktivasyon fonksiyonlarının performansları ile karşılaştırılmış ve başarılı sonuçlar alınmıştır.
Özet (Çeviri)
Deep learning is a set of systems that can bring human behaviors to machines with learning algorithms using big data. Convolutional neural network models used in deep learning process analyze data and produce meaningful outputs. Deep learning models use activation functions to introduce and analyze data into the system. Activation functions take part in the middle layers of network models and determine how the outputs produced should change. There may be various problems with the activation functions used in deep learning. Functions may have a vanishing gradient problem, may not produce values within specified intervals, may not be differentiable or nonlinear. To overcome these problems, in the literature, linear and non-monotonic activation functions such as Sigmoid, Tanh, Swish, ReLU and Mish have been proposed. Although these activation functions perform well in deep learning models, only a few of them can be widely used in mostly all deep learning applications. For this reason, in this study, TanHardEx and HTanH activation functions, which are developed by using hyperbolic tangent (TanH) and SoftSign activation functions, are proposed in order to increase the performance of the deep learning models, expand their usage areas and overcome the mentioned problems. The proposed TanHardEx and HTanH activation functions are non-linear and non-monotonic and have a single parameter, continuous and differentiable structure. The performances of the proposed activation functions were compared with the performances of the activation functions available in the literature and successful results were obtained.
Benzer Tezler
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR
- Derin öğrenme ve büyük veri analitiği yöntemleriKullanarak Covid-19 yayılımının ileriye dönük tahmini
Forecasting the spread of covid-19 using deep learning and big data analytics methods
CYLAS KIGANDA
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
PROF. DR. MUHAMMET ALİ AKCAYOL
- Çok katmanlı yapay sinir ağları modelleri için genetik algoritmalar kullanarak özgün mimari tasarımı: Nöral lojik devreler
A novel architecture design for multi-layer neural networks by using genetic algorithms: Neural logic circuits
HAMİT TANER ÜNAL
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk ÜniversitesiBilişim Teknolojileri Mühendisliği Ana Bilim Dalı
PROF. DR. FATİH BAŞÇİFTÇİ
- Early detection of distributed denial of service attacks
Dağıtık hizmet engelleme saldırılarının erken tespiti
KAĞAN ÖZGÜN
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AYŞE TOSUN KÜHN
DR. ÖĞR. ÜYESİ MEHMET TAHİR SANDIKKAYA
- Derin sinir ağları başarı performanslarının özgün yöntemlerle geliştirilmesi
Improving of deep neural networks success performances with novel methods
MUSTAFA KAYTAN
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CELALEDDİN YEROĞLU
DOÇ. DR. İBRAHİM BERKAN AYDİLEK