Derin sinir ağları başarı performanslarının özgün yöntemlerle geliştirilmesi
Improving of deep neural networks success performances with novel methods
- Tez No: 856527
- Danışmanlar: PROF. DR. CELALEDDİN YEROĞLU, DOÇ. DR. İBRAHİM BERKAN AYDİLEK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: İnönü Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yapay Sinir Ağları (YSA)'nın eğitilmesinde ağırlık değerlerinin güncellenmesi ve iyileştirilmesi, güncel bilimsel literatürde ele alınan önemli konulardan biridir. Ağırlık değerlerinin iyileştirilmesinde sinir ağının öğrenme başarısı eğitim yöntemine ve öğrenme sürecine bağlıdır. Bu tez çalışmasında, derin sinir ağları başarı performansı üç farklı yöntemle geliştirilerek sonuçları irdelenmiştir. Birinci uygulamada biyolojik sinir ağlarının çalışma mantığından esinlenerek oluşturulan YSA'ların farklı yöntemlerle nasıl iyileştirildikleri araştırılmıştır. Yapılan literatür taraması ve kıyaslamalarında YSA'ların meta sezgisel, hibrit ve özel yöntemlerle optimize edilebildikleri görülmüştür. Önerilen ilk uygulamada, YSA'ları iyileştirmek için istatistiksel veya deneysel yöntemler uygulanmıştır. YSA'ların yığın boyutu, eğitim tur sayısı, öğrenme oranı, momentum, ağırlık başlatma, nöron aktivasyon fonksiyonu, gizli katmandaki nöron sayısı kullanılarak 5 deney yapılmış ve sinir ağı başarımının kıyaslanan çalışmalara göre iyileştiği gösterilmiştir. İkinci uygulamada ise literatürde daha önce önerilen Aktivasyon Fonksiyon (AF)'larının avantajlı yönlerinden faydalanılarak geliştirilen ve Sigmoid-Gumbel (SG) olarak adlandırılan yeni bir hibrit AF önerilmiştir. SG'nin başarımını ölçmek için 4 deney yapılmıştır. Deneylerde SG'nin karşılaştırılması amacıyla Sigmoid, Gumbel, ReLU ve Adaptive Gumbel fonksiyonları iki ağ modeline uygulanmıştır. Bu ağ modellerinden ÇKA ikili sınıflandırma sınıf dengesizliği probleminde, ESA ise görüntü sınıflandırma problemine uygulanmıştır. Deney sonuçlarına göre önerilen SG'nin başarım oranının kıyaslanan AF'lere göre daha iyileştiği gösterilmiştir. Üçüncü çalışmada ise Gish adlı yeni bir AF önerilmiştir. Çeşitli derin öğrenme modellerinde başarılı sonuçlar elde etmek için Swish, Mish, Logish ve Smish gibi monotonik olmayan AF'lerin kullanıldığı bilinmektedir. Gish'in performansını değerlendirmek için farklı ağ modelleri ve veri kümeleri üzerinde çeşitli deneyler yapılmıştır. Elde edilen performansların Swish, Mish, Logish ve Smish'ten daha yüksek olduğu deneysel olarak gösterilmiştir.
Özet (Çeviri)
Updating and improving the weight values in the training of Artificial Neural Networks (ANNs) is one of the important issues discussed in the current scientific literature. The learning success of the neural network in improving weight values depends on the training method and learning process. In this thesis, the success performance of deep neural networks was developed by three different methods and the results were examined. In the first application, it was investigated how ANNs, which were inspired by the working logic of biological neural networks, were improved by different methods. In the literature review and comparisons, it was seen that ANNs can be optimized with meta-heuristic, hybrid and special methods. In the first proposed implementation, statistical or experimental methods were applied to improve ANNs. 5 experiments were conducted using the batch size, number of epochs, learning rate, momentum, weight initialization, neuron activation function, number of neurons in the hidden layer of ANNs, and it was shown that neural network performance was improved according to the compared studies. In the second application, a new hybrid Activation Function (AF) called Sigmoid-Gumbel (SG) was proposed, which was developed by taking advantage of the advantageous aspects of the AFs previously proposed in the literature. 4 experiments were conducted to measure the performance of SG. In order to compare SG in the experiments, Sigmoid, Gumbel, ReLU and Adaptive Gumbel functions were applied to two network models. Of these network models, MLP was applied to the binary classification class imbalance problem, and CNN was applied to the image classification problem. According to the results of the experiment, it was shown that the performance rate of the proposed SG was better than the compared AFs. In the third study, a new AF called Gish was proposed. It is known that non-monotonic AFs such as Swish, Mish, Logish and Smish are used to achieve successful results in various deep learning models. Various experiments have been conducted on different network models and datasets to evaluate the performance of Gish. It has been experimentally shown that the achieved performances are higher than Swish, Mish, Logish and Smish.
Benzer Tezler
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR
- Facial expression analysis foran online usability evaluation platform
Çevrimiçi kullanılabilirlik değerlendirme platformu için yüz ifadesi analizi
ALİ AZMOUDEH
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL
- Image classification with energy efficient Hadamard neural networks
Verimli enerjili Hadamard sinir ağları ile görüntü sınıflandırması
TUBA CEREN DEVECİ
Yüksek Lisans
İngilizce
2018
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET ENİS ÇETİN
- Pankreas kanser dokularının segmentasyonunda farklı derin öğrenme tekniklerinin performanslarının incelenmesi
Investigation of different deep learning techniques in pancreas cancer tissues segmentation
RAMAZAN ÖZGÜR DOĞAN
Doktora
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKaradeniz Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TEMEL KAYIKÇIOĞLU
- CNN-based text-independent automatic speaker identification
Evrişimsel sinir ağı tabanlı metinden bağımsız otomatik konuşmacı tanılama
MANDANA FASOUNAKI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÖKHAN İNCE