Derin sinir ağları başarı performanslarının özgün yöntemlerle geliştirilmesi
Improving of deep neural networks success performances with novel methods
- Tez No: 856527
- Danışmanlar: PROF. DR. CELALEDDİN YEROĞLU, DOÇ. DR. İBRAHİM BERKAN AYDİLEK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: İnönü Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 111
Özet
Yapay Sinir Ağları (YSA)'nın eğitilmesinde ağırlık değerlerinin güncellenmesi ve iyileştirilmesi, güncel bilimsel literatürde ele alınan önemli konulardan biridir. Ağırlık değerlerinin iyileştirilmesinde sinir ağının öğrenme başarısı eğitim yöntemine ve öğrenme sürecine bağlıdır. Bu tez çalışmasında, derin sinir ağları başarı performansı üç farklı yöntemle geliştirilerek sonuçları irdelenmiştir. Birinci uygulamada biyolojik sinir ağlarının çalışma mantığından esinlenerek oluşturulan YSA'ların farklı yöntemlerle nasıl iyileştirildikleri araştırılmıştır. Yapılan literatür taraması ve kıyaslamalarında YSA'ların meta sezgisel, hibrit ve özel yöntemlerle optimize edilebildikleri görülmüştür. Önerilen ilk uygulamada, YSA'ları iyileştirmek için istatistiksel veya deneysel yöntemler uygulanmıştır. YSA'ların yığın boyutu, eğitim tur sayısı, öğrenme oranı, momentum, ağırlık başlatma, nöron aktivasyon fonksiyonu, gizli katmandaki nöron sayısı kullanılarak 5 deney yapılmış ve sinir ağı başarımının kıyaslanan çalışmalara göre iyileştiği gösterilmiştir. İkinci uygulamada ise literatürde daha önce önerilen Aktivasyon Fonksiyon (AF)'larının avantajlı yönlerinden faydalanılarak geliştirilen ve Sigmoid-Gumbel (SG) olarak adlandırılan yeni bir hibrit AF önerilmiştir. SG'nin başarımını ölçmek için 4 deney yapılmıştır. Deneylerde SG'nin karşılaştırılması amacıyla Sigmoid, Gumbel, ReLU ve Adaptive Gumbel fonksiyonları iki ağ modeline uygulanmıştır. Bu ağ modellerinden ÇKA ikili sınıflandırma sınıf dengesizliği probleminde, ESA ise görüntü sınıflandırma problemine uygulanmıştır. Deney sonuçlarına göre önerilen SG'nin başarım oranının kıyaslanan AF'lere göre daha iyileştiği gösterilmiştir. Üçüncü çalışmada ise Gish adlı yeni bir AF önerilmiştir. Çeşitli derin öğrenme modellerinde başarılı sonuçlar elde etmek için Swish, Mish, Logish ve Smish gibi monotonik olmayan AF'lerin kullanıldığı bilinmektedir. Gish'in performansını değerlendirmek için farklı ağ modelleri ve veri kümeleri üzerinde çeşitli deneyler yapılmıştır. Elde edilen performansların Swish, Mish, Logish ve Smish'ten daha yüksek olduğu deneysel olarak gösterilmiştir.
Özet (Çeviri)
Updating and improving the weight values in the training of Artificial Neural Networks (ANNs) is one of the important issues discussed in the current scientific literature. The learning success of the neural network in improving weight values depends on the training method and learning process. In this thesis, the success performance of deep neural networks was developed by three different methods and the results were examined. In the first application, it was investigated how ANNs, which were inspired by the working logic of biological neural networks, were improved by different methods. In the literature review and comparisons, it was seen that ANNs can be optimized with meta-heuristic, hybrid and special methods. In the first proposed implementation, statistical or experimental methods were applied to improve ANNs. 5 experiments were conducted using the batch size, number of epochs, learning rate, momentum, weight initialization, neuron activation function, number of neurons in the hidden layer of ANNs, and it was shown that neural network performance was improved according to the compared studies. In the second application, a new hybrid Activation Function (AF) called Sigmoid-Gumbel (SG) was proposed, which was developed by taking advantage of the advantageous aspects of the AFs previously proposed in the literature. 4 experiments were conducted to measure the performance of SG. In order to compare SG in the experiments, Sigmoid, Gumbel, ReLU and Adaptive Gumbel functions were applied to two network models. Of these network models, MLP was applied to the binary classification class imbalance problem, and CNN was applied to the image classification problem. According to the results of the experiment, it was shown that the performance rate of the proposed SG was better than the compared AFs. In the third study, a new AF called Gish was proposed. It is known that non-monotonic AFs such as Swish, Mish, Logish and Smish are used to achieve successful results in various deep learning models. Various experiments have been conducted on different network models and datasets to evaluate the performance of Gish. It has been experimentally shown that the achieved performances are higher than Swish, Mish, Logish and Smish.
Benzer Tezler
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR
- CNN-based text-independent automatic speaker identification
Evrişimsel sinir ağı tabanlı metinden bağımsız otomatik konuşmacı tanılama
MANDANA FASOUNAKI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÖKHAN İNCE
- The effect of EMG-based attentional focus on human machine interface applications
Dikkatle odaklanmanın EMG-temelli insan makine arayüzü uygulamalarına etkisi
AYŞE NUR AY
Doktora
İngilizce
2021
Mekatronik MühendisliğiSakarya Uygulamalı Bilimler ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA ZAHİD YILDIZ
- Kripto para değerlerinin yapay zekâ teknikleri ile tahmini
Forecasting of cryptocurrency prices using artificial intelligence techniques
FURKAN ATLAN
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBurdur Mehmet Akif Ersoy ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İHSAN PENÇE
- Evrişimsel sinir ağlarıyla otomatik modülasyon sınıflandırma
Automatic modulation classification with comvolutional neural networks
OSMAN KAYA
Yüksek Lisans
Türkçe
2023
Elektrik ve Elektronik MühendisliğiYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. TANSAL GÜÇLÜOĞLU