Derin evrişimsel sinir ağlarında kısıtlı ağırlık başlatımı için sezgisel optimizasyon tabanlı yeni ağ mimarilerinin sınıflandırma başarımlarının incelenmesi
An investigation of classification performance of heuristic optimization based novel network architectures for constrained weight initialization in deep convolutional neural networks
- Tez No: 996511
- Danışmanlar: PROF. DR. UĞUR YÜZGEÇ, DR. ÖĞR. ÜYESİ BURAKHAN ÇUBUKÇU
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Yapay zeka, Artificial intelligence
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Bilecik Şeyh Edebali Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektronik ve Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez kapsamında, derin öğrenme modellerinin eğitim aşamasında parametrelerin rastgele başlatılmasından kaynaklanan performans kayıpları ele alınmıştır. Bu olumsuz etkileri azaltmaya yönelik yeni derin öğrenme yaklaşımları geliştirilmiştir. Çalışmanın temel hedefi, derin öğrenme ağlarında sıkça karşılaşılan yavaş yakınsama, yerel minimuma sıkışma ve dengesiz başlatılan ağırlıklar gibi sorunların en aza indirilmesidir. Bu doğrultuda,“kısıtlı ağırlık üretici”adı verilen yeni bir katman geliştirilmiş, bu katman CNN mimarisinde özellik çıkarım katmanı ile tam bağlantılı katman arasında konumlandırılarak tam bağlantılı katmanın daha uygun bir başlangıç noktasından eğitime başlamasını sağlamıştır. Çalışmanın ilk aşamasında D-CNN, C-CNN, S-CNN, RS-CNN ve M-CNN olmak üzere beş farklı kısıtlı CNN modeli önerilmiş; bu modeller MNIST, Fashion-MNIST ve CIFAR-10 veri kümeleri üzerinde çoklu kez eğitilip test edilmiştir. Yapılan çalışma neticesinde MNIST veri kümesinde %99,16 doğruluk ile C-CNN, MNIST Fashion veri kümesinde %92,11 doğruluk ile D-CNN, CIFAR-10 veri kümesinde %71,69 doğruluk ile D-CNN en yüksek doğruluk elde etmiştir. Bu sonuçlara göre hesaplama yönteminde fark vektörü kullanan D-CNN ve C-CNN modellerinin diğer yaklaşımlara kıyasla daha yüksek doğruluk elde ettiği görülmüştür. Bu modellerde kullanılan vektör seçim süreci SCO algoritması ile optimize edilip oluşturulan yeni karma modele OptiConNet adı verilmiştir. Literatürdeki benzer çalışmalardan farklı olarak, OptiConNet modelinde SCO algoritması ise doğrudan CNN parametrelerini optimize etmek yerine kısıtlı ağırlık üreticinin vektör seçimi optimize edilmiştir. OptiConNet modeli Fashion-MNIST ve Brain Tumor MRI veri kümeleri üzerinde test edilmiş ve özellikle Brain Tumor MRI veri kümesi üzerinde %96,56 doğruluk değerine ulaşılması modelin gerçek hayat problemlerine uygulanabilirliğini göstermiştir. OptiConNet modelinin tek aday tabanlı yapısının yerine, sürü temelli bir optimizasyon yaklaşımının benimseyen ABC algoritması modele entegre edilerek HyBee-CNN adı verilen yeni bir karma model geşliştirilmiştir. HyBee-CNN modeli Fashion-MNIST veri kümesinde test edilmiş ve %92,75 doğruluk elde edilmiştir. Sonuç olarak, önerilen modellerin literatürdeki çalışmalarla karşılaştırıldığında üstün başarım göstermesi, kısıtlı ağırlık üretici yaklaşımı ile sezgisel optimizasyon algoritmalarının bir arada kullanıldığı karma mimarinin özgünlüğünü ortaya koymaktadır. Bu yönüyle çalışma, derin öğrenme modellerinin eğitimine alternatif ve etkili bir başlangıç stratejisi sunarak literatüre katkı sağlamıştır.
Özet (Çeviri)
In this thesis, performance losses arising from the random initialization of parameters during the training phase of deep learning models are addressed. To reduce these adverse effects, new deep learning approaches have been developed. The main objective of the study is to minimize problems frequently encountered in deep learning networks, such as slow convergence, getting trapped in local minima, and issues caused by imbalanced weight initialization. In this direction, a constrained weight generator layer is introduced between the feature extraction and fully connected layers of the CNN architecture to provide a more suitable initialization for training. In the first stage of the study, five different constrained CNN models—namely D-CNN, C-CNN, S-CNN, RS-CNN, and M-CNN—have been proposed; these models have been trained and tested multiple times on the MNIST, Fashion-MNIST, and CIFAR-10 datasets. As a result of the study, the C-CNN achieved an accuracy of 99.16% on the MNIST dataset, the D-CNN achieved an accuracy of 92.11% on the Fashion-MNIST dataset, and the D-CNN achieved an accuracy of 71.69% on the CIFAR-10 dataset, representing the highest accuracy in each case. According to these results, it has been observed that the D-CNN and C-CNN models, which use difference vectors in their computational method, achieved higher accuracy compared to the other approaches. The vector selection process used in these models was optimized using the SCO algorithm, and the newly formed hybrid model was named OptiConNet. Unlike similar studies in the literature, in the OptiConNet model, the SCO algorithm is not used to directly optimize CNN parameters; instead, the vector selection of the constrained weight generator is optimized. The OptiConNet model was tested on the Fashion-MNIST and Brain Tumor MRI datasets, and achieving an accuracy of 96.56% on the Brain Tumor MRI dataset demonstrated the applicability of the model to real-world problems. By replacing the single-candidate structure of OptiConNet with a swarm-based optimization approach, the ABC algorithm was integrated, resulting in a new hybrid model called HyBee-CNN.. The HyBee-CNN model was tested on the Fashion-MNIST dataset and achieved an accuracy of 92.75%. As a result, the superior performance of the proposed models over existing studies highlights the originality of the hybrid architecture that combines the constrained weight generator with heuristic optimization algorithms. In this respect, the study contributes to the literature by presenting an alternative and effective initialization strategy for training deep learning models.
Benzer Tezler
- Comressıon of convolutıonal neural networks vıa hıgh dımensıonal model representatıon
Yüksek boyutlu model gösterilimi aracılığıyla evrişimsel sinir ağlarının sıkıştırılması
BERNA YILMAZ
Yüksek Lisans
İngilizce
2025
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiHesaplamalı Bilim ve Mühendislik Ana Bilim Dalı (disiplinlerarası)
DR. ÖĞR. ÜYESİ SÜHA TUNA
- Jet uçaklarında transfer öğrenimi yöntemiyle hasarlı parçaların tespiti
Detection of damaged parts via transfer learning method in jet aircrafts
SAFA ERDEM
Yüksek Lisans
Türkçe
2022
Endüstri ve Endüstri MühendisliğiSakarya ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜLTEKİN ÇAĞIL
- Semantic land cover and land use classification using deep convolutional neural networks
Derin evrişimsel sinir ağları ile arazi kullanımı ve arazi örtüsünün anlamsal sınıflandırılması
BERK GÜNEY
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Efficient super-resolution and MR image reconstruction networks
Verimli süper çözünürlük ve MR imgeleri geriçatım ağları
DURSUN ALİ EKİNCİ
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Derin sinir ağlarının (DSA) hızlı çıkarım ve hata dayanıklılık analizi için fpga uygulaması
Fpga implementation of deep neural networks (DNNS) for fast inference and error resilience analysis
UĞUR BERK ÇELİK
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiSabancı ÜniversitesiElektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER CEYLAN