Sinir ağlarında özelleştirilmiş değerler ile ağırlıkların başlatılması ve sınıflandırma sonuçlarına etkilerinin incelenmesi
Initialization of weights with customized values in neural networks and investigation of their effects on classification results
- Tez No: 881590
- Danışmanlar: DR. ÖĞR. ÜYESİ ÖZKAN BİNGÖL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Matematik, Computer Engineering and Computer Science and Control, Mathematics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Gümüşhane Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Matematik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 102
Özet
Evrişimli sinir ağı modellerinin evrişim katmanlarının başlangıç değerlerinin belirlenmesi, ağın öğrenme sürecini ve nihai performansını doğrudan etkileyen kritik bir konudur. Yanlış belirlenmiş başlangıç değerleri, gradyan patlaması veya yok olması gibi sorunlara yol açabilir. Bu nedenle, doğru ağırlık başlatma stratejilerinin geliştirilmesi, derin öğrenme modellerinin etkinliğini ve verimliliğini artırmak için önemlidir. Bu tezde, ESA'lardaki evrişim katmanlarının başlangıç değerlerinin belirlenmesinde kullanılan yöntemlerin avantaj ve dezavantajları karşılaştırılmıştır. Xavier, He, sabit değer ve sıfır değer başlatma gibi yaygın yöntemlerin yanı sıra, Gabor filtreleri gibi yenilikçi yaklaşımlar da ele alınmıştır. Gabor filtrelerinin biyolojik görme sistemini taklit eden özellikleri sayesinde, ağırlık başlatma olarak kullanıldığında ağın öğrenme sürecini hızlandırma ve genelleme performansını artırma potansiyeli bulunmaktadır. Bu yöntemlerin performans üzerindeki etkileri, literatürde yaygın olarak kullanılan FashionMNIST veri seti ve IITD Temassız Avuçizi veritabanı ile test edilmiştir. Deneysel çalışmalarda, ağırlık başlatma yöntemlerinin doğrudan performans üzerindeki etkilerini gözlemlemek için basit ağ modelleri kullanılmıştır. Bu yaklaşım, farklı başlatma stratejilerinin teorik avantajlarını pratikte gözlemlemeyi ve karşılaştırmayı mümkün kılmaktadır. Ortak parametrelerin kullanılması, ağırlık başlatma yöntemlerinin karşılaştırılabilirliğini artırmakta ve hangi yöntemin hangi koşullar altında daha üstün performans sergilediğini anlamayı kolaylaştırmaktadır. Bu metodoloji, çalışmanın sonuçlarının güvenilirliğini ve geçerliliğini artırarak literatüre sağlam ve tekrarlanabilir bulgular sunmayı amaçlamaktadır.
Özet (Çeviri)
Determining the initial values of convolutional layers in convolutional neural network (CNN) models is a critical issue that directly impacts the learning process and ultimate performance of the network. Incorrectly set initial values can lead to problems such as gradient explosion or vanishing, hindering the training process. Therefore, developing correct weight initialization strategies is essential for enhancing the effectiveness and efficiency of deep learning models. In this thesis, the advantages and disadvantages of the methods used to determine the initial values of convolutional layers in CNNs are compared. In addition to commonly used methods such as Xavier, He, fixed value, and zero initialization, innovative approaches like Gabor filters are also considered. Due to their ability to mimic the biological visual system, Gabor filters have the potential to accelerate the learning process and improve the generalization performance of the network when used as weight initialization. The effects of these methods on performance have been tested using the widely recognized FashionMNIST dataset and the IITD Touchless Palmprint database. In the experimental studies, simple network models were used to observe the direct effects of weight initialization methods on performance. This approach allows for practical observation and comparison of the theoretical advantages of different initialization strategies. The use of common parameters increases the comparability of weight initialization methods and facilitates understanding which method performs better under specific conditions. This methodology aims to enhance the reliability and validity of the study's results, providing robust and replicable findings to the literature.
Benzer Tezler
- Predictive error compensated wavelet neural networks framework for time series prediction
Zaman serisi tahmini için hata tazminli dalgacık dönüşümlü sinir ağları çerçeve yazılımı
SERKAN MACİT
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BURAK BERK ÜSTÜNDAĞ
- Prospects of nonresonant Higgs boson pair production measurement in the WWγγ channel at the HL-LHC with the phase-II CMS detector
Standart model Higgs bozonu çifti üretiminin WWγγ kanalında CMS faz II dedektörü ile HL-LHC koşullarında araştırılması
AHMET OĞUZ GÜZEL
Yüksek Lisans
İngilizce
2022
Fizik ve Fizik Mühendisliğiİstanbul Teknik ÜniversitesiFizik Mühendisliği Ana Bilim Dalı
PROF. DR. MUAMMER ALTAN ÇAKIR
- Essays on electricity price modeling and forecasting
Elektrik fiyatlarının modellenmesi ve tahmini üzerine makaleler
UMUT UĞURLU
Doktora
İngilizce
2019
İşletmeİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. OKTAY TAŞ
- RECURRENT NEURAL NETWORKS AND NEW WAVELET FUCTION FOR ANALYSIS AND CONTROL OF ELECTRICAL AND ENERGY SYSTEMS
ELEKTRIK VE ENERJI SISTEMLERININ ANALIZI VE KONTROLÜ IÇİN YENILENEN SINIR AĞLAR VE YENİ DALGALANMA FONKSIYONU
SAEID SHEIKHMEMARI
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
PROF. DR. ŞAHİN SERHAT ŞEKER
- El hareketlerinin gerçekleştirilmesi ve gözlemlenmesi esnasında kaydedilen EEG sinyallerinden derin öğrenme temelli sınıflandırma ile ayna nöron aktivitesinin değerlendirilmesi
Deep learning based classification of EEG signals recorded during execution and observation of hand movements to evaluate the mirror neuron activity
HÜSEYİN AKBULUT
Yüksek Lisans
Türkçe
2020
Bilim ve TeknolojiMarmara ÜniversitesiBeden Eğitimi ve Spor Ana Bilim Dalı
DOÇ. DR. ADİL DENİZ DURU