Çok amaçlı metasezgisel optimizasyon yöntemleri ile derin sinir ağlarının otomatik modellenmesi
Automated modeling of deep neural networks with multi-objective metaheuristic optimization methods
- Tez No: 1022196
- Danışmanlar: DOÇ. DR. GÜNGÖR YILDIRIM
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Parametre optimizasyonu, Parameter optimization
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yapay zekâ ve derin öğrenme modellerinin başarısı, eğitim verisinin kalitesiyle beraber modelin mimarisine ve eğitim sürecini yöneten hiper parametrelerin doğru yapılandırılmasına da bağlıdır. Ancak günümüzde modellerin karmaşıklığının artması, bu yapılandırma süreçlerini insan uzmanlığı gerektiren ve yüksek hesaplama maliyetlerine yol açan bir darboğaza dönüştürmüştür. Bu problemden yola çıkılarak hazırlanan bu tez çalışmasında; derin sinir ağlarının yüksek hesaplama maliyetlerini azaltmak, insan müdahalesini en aza indirmek ve kaynak kısıtlı ortamlarda da etkin çalışan modeller geliştirmek amacıyla Hiper Parametre Optimizasyonu (HPO) ve Sinir Mimari Aramasına (NAS) yönelik çalışmalar gerçekleştirilmiştir. Geliştirilen temsil biçimleri ve iyileştirilen metasezgisel algoritmalar; farklı mimarilere, farklı problem türlerine ve farklı hedeflere başarıyla uygulanmıştır. Gerçekleştirilen ilk çalışmada, evrişimli sinir ağlarının HPO ve NAS süreçleri için geliştirilen temsil biçimi, dört farklı yeni mekanizmayla iyileştirilmiş bir Parçacık Sürü Optimizasyonu (PSO) algoritmasına entegre edilmiştir. CCS-DPSO olarak adlandırılan bu yöntem, sahte haber veri kümeleri üzerinde uygulanarak test edilmiştir. İkinci çalışmada ise, LLM-as-a-Judge yaklaşımı kullanılarak Büyük Dil Modellerinin (LLM) bir karar verici olarak konumlandırılması ve sahte haberleri yorumlanabilir bir şekilde sınıflandırmaları hedeflenmiştir. JEDI-LLM olarak adlandırılan bu çalışmada, geliştirilen temsil biçimi ve PSO tabanlı yöntem aracılığıyla bilgi damıtma sürecindeki hiper parametreler optimize edilmiştir. Öğretmen LLM'in muhakeme yeteneğini ince ayar ile öğrenen öğrenci modellerin başarısı sahte haber veri kümeleri üzerinde test edilmiştir. Son HPO ve NAS çalışması ise FAIR-NAS adlı çerçevedir. Bu çalışmada, geliştirilen temsil biçimi ile Alzheimer veri kümesindeki klinik özelliklerin seçilmesi ve belirlenen dört amacı optimize eden optimum ileri beslemeli sinir ağı mimarilerinin oluşturulması hedeflenmiştir. NSGA-III algoritması kullanılarak Alzheimer teşhisinde sınıflandırma performansı, tıbbi maliyet, model karmaşıklığı ve algoritmik adalet eş zamanlı olarak optimize edilmiştir. Deneysel sonuçlar, CCS-DPSO'nun sahte haber tespitinde kararlılığı artırdığını ve hesaplama sürelerini önemli ölçüde kısalttığını göstermiştir. JEDI-LLM çerçevesinde ise, HPO ile gerçekleştirilen ince ayar sonrasında, öğrenci LLM'lerin sahte haberleri yorumlayarak daha başarılı sınıflandırabildikleri görülmüştür. FAIR-NAS'ın, tıbbi teşhiste hiperhacim metriğinde üstün başarı sergileyerek maliyet, karmaşıklık ve adalet dengesini kuran Pareto-optimal mimarileri ve tıbbi alt özellik kümeleri sağladığı gösterilmiştir. Önerilen yöntemlerden elde edilen sonuçlar; bu modellerin karmaşık problemlerin çözümünde etkin, hızlı, güvenilir, adil ve karar süreçlerini yorumlanabilir yapan sistemleri sunduğunu ortaya koymuştur.
Özet (Çeviri)
The success of artificial intelligence and deep learning models depends not only on the quality of training data but also on the model's architecture and the proper configuration of hyperparameters governing the training process. However, the increasing complexity of modern models has turned these configuration processes into a bottleneck that requires human expertise and leads to high computational costs. Motivated by this problem, this thesis conducts studies on HPO and NAS to reduce the high computational costs of deep neural networks, minimize human intervention, and develop models that operate effectively even in resource-constrained environments. The developed representation schemes and improved metaheuristic algorithms have been successfully applied to different architectures, various problem types, and distinct objectives. In the first study, the representation scheme developed for the NAS and HPO processes of Convolutional Neural Networks (CNNs) was integrated into a PSO algorithm enhanced with four novel mechanisms. This method, named CCS-DPSO, was applied and tested on fake news datasets. In the second study, utilizing the LLM-as-a-Judge approach, large language models were positioned as decision-makers, aiming for them to classify fake news in an interpretable manner. In this study, called JEDI-LLM, the hyperparameters during the knowledge distillation process were optimized through the developed representation scheme and the PSO-based method. The success of the student models, which learned the reasoning capabilities of the teacher LLM through fine-tuning, was tested on fake news datasets. The final HPO and NAS study is the framework named FAIR-NAS. In this study, the objective was to select clinical features from the Alzheimer's dataset and generate optimal Feed-Forward Network (FFN) architectures that optimize four defined objectives using the developed representation scheme. Using the NSGA-III algorithm, classification performance, medical cost, model complexity, and algorithmic fairness were simultaneously optimized in Alzheimer's diagnosis. Experimental results demonstrated that CCS-DPSO increased stability and significantly reduced computational times in fake news detection. Within the JEDI-LLM framework, it was observed that following HPO-guided fine-tuning, student LLMs were able to classify fake news more successfully by interpreting them. Furthermore, it was shown that FAIR-NAS exhibited superior performance in the hypervolume metric in medical diagnosis, providing Pareto-optimal FFN architectures and clinical feature subsets that establish a balance among cost, complexity, and fairness. The results obtained from the proposed methods revealed that these models offer effective, fast, reliable, and fair systems that make decision-making processes interpretable in solving complex problems.
Benzer Tezler
- Novel methods for ned angle estimation using only azimuth measurements in electronic warfare systems
Elektronik harp sistemlerinde yalnızca yanca ölçümleriyle ned açı kestirimi için yeni yaklaşımlar
SERKAN UÇAN
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN ALİ ÇIRPAN
- Metasezgisel algoritmalar ve derin öğrenme kullanılarak çok kaynaklı görüntü füzyonu
Multi-source image fusion using metaheuristic algorithms and deep learning
ASAN IHSAN ABAS ABAS
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. NURDAN BAYKAN
- Incremental heuristic meta-learning using reinforcement learning
Pekiştirmeli öğrenme kullanarak artımsal sezgisel üst-öğrenme
ONUR KARADELİ
Doktora
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ŞULE ÖĞÜDÜCÜ
- Advanced approaches to fuzzy cognitive mapping for enhancing convergence, learning, and prediction
Yakınsama, öğrenme ve tahmin performansının iyileştirilmesi için bulanık bilişsel haritalarda ileri yaklaşımlar
MİRAÇ MURAT
Doktora
İngilizce
2025
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. UMUT ASAN
- Çok sınıflı medikal görüntü sınıflandırması için melez derin öğrenme yaklaşımları
Hybrid deep learning approaches for the multi class medical image classification
ZELİHA KAYA AKÇELİK
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFatih Sultan Mehmet Vakıf ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÖNÜL ULUDAĞ