Kuantum hesaplama temelli optimizasyon yöntemleri ile büyük dil modellerinin eğitim ve çıkarım süreçlerinin iyileştirilmesi
Improving training and inference processes of large language models with quantum computing-based optimization methods
- Tez No: 1013186
- Danışmanlar: DR. ÖĞR. ÜYESİ ALİ SARIKAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Marmara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Büyük dil modelleri, doğal dil işleme alanında metin sınıflandırma, özetleme ve içerik üretimi gibi görevlerde güçlü sonuçlar üretmektedir. Buna karşılık bu modellerin eğitimi, özellikle ince ayar aşamasında, yüksek hesaplama maliyeti, yoğun enerji tüketimi ve çok sayıda deneme gerektiren hiperparametre arama süreçleri nedeniyle önemli bir verimlilik problemi doğurmaktadır. Bu tezde, kuantum algoritmalarının olasılıksal keşif yeteneği ile klasik Bayesyen optimizasyonun yerel iyileştirme gücünü bir araya getiren ardışık kuantum--klasik hibrit bir hiperparametre optimizasyon yaklaşımı önerilmektedir. Önerilen çerçeve, BERT tabanlı bir metin sınıflandırma modeli üzerinde Emotion ve TweetEval veri kümeleri kullanılarak değerlendirilmiştir. Karşılaştırma kapsamında klasik Bayesyen optimizasyon (Optuna), rastgele başlatmalı Bayesyen arama (RandomOptuna), erken durdurma temelli Asenkron Ardışık Yarıya İndirme Algoritması (ASHA), Kuantum Yaklaşık Optimizasyon Algoritması (QAOA), Kuantum Gradyan İnişi (QGD) ve bunların ardışık hibrit türevleri (QAOA--Optuna ve QGD--Optuna) incelenmiştir. Tüm yöntemler eşit deneme bütçesi ve çoklu tohum koşulları altında; doğruluk, makro-F1, doğrulama kaybı, genelleme farkı, yakınsama davranışı ve enerji tüketimi ölçütleriyle değerlendirilmiştir. Bulgular, hibrit yapıların her karşılaştırmada tek yönlü bir enerji üstünlüğü üretmediğini, ancak başarı ve maliyet birlikte okunduğunda daha dengeli bir optimizasyon profili sunduğunu göstermektedir. Özellikle QAOA--Optuna yaklaşımı, TweetEval veri kümesinde en güçlü bütüncül dengeyi üretmiş; Emotion veri kümesinde ise en düşük doğrulama kaybı ile yüksek test başarımını bir araya getirmiştir. Çalışmada ayrıca doğruluk, makro-F1 ve enerji tüketimini aynı karar yüzeyi üzerinde değerlendirmek amacıyla Hibrit Başarım Ölçütü (Hybrid Performance Metric -- HPM) kullanılmıştır. Sonuçlar, kuantum katkısının model mimarisinden çok optimizasyon katmanında değerlendirildiğinde, büyük dil modeli ince ayarında uygulanabilir ve enerji farkındalıklı bir alternatif sunabildiğini ortaya koymaktadır.
Özet (Çeviri)
Large Language Models (LLMs) have delivered strong performance across a wide range of Natural Language Processing tasks. However, fine-tuning these models remains costly in terms of computation, energy consumption, and repeated hyperparameter trials. This thesis proposes a sequential hybrid quantum--classical hyperparameter optimization framework that combines the probabilistic exploration capacity of quantum algorithms with the local refinement capability of classical Bayesian optimization. The framework is evaluated on a BERT-based text classification setting using the Emotion and TweetEval datasets. The experimental comparison includes Optuna, RandomOptuna, ASHA, Quantum Approximate Optimization Algorithm (QAOA), Quantum Gradient Descent (QGD), and their sequential hybrid variants (QAOA--Optuna and QGD--Optuna). All methods are tested under identical trial budgets and multiple random seeds, and are assessed using accuracy, macro-F1, validation loss, generalization gap, convergence behavior, and total energy consumption. The results do not indicate a uniform energy advantage for the hybrid methods in every comparison. Instead, they show that the hybrid designs provide a more balanced optimization profile when predictive quality and computational cost are interpreted together. In particular, QAOA--Optuna achieves the strongest overall balance on TweetEval, while also combining the lowest validation loss with high test performance on Emotion. To support this multi-dimensional evaluation, the thesis employs the Hybrid Performance Metric (HPM), which jointly considers predictive quality and energy use. Overall, the findings suggest that quantum contributions become more meaningful when positioned in the optimization layer rather than in the model architecture itself, providing a practical and energy-aware alternative for fine-tuning Transformer-based language models.
Benzer Tezler
- Development of application specific transport triggered processors for post-quantum cryptography algorithms
Post-kuantum kriptografi algoritmaları için uygulamaya özel taşıma tetiklemeli işlemcilerin geliştirilmesi
LATİF AKÇAY
Doktora
İngilizce
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. SIDDIKA BERNA ÖRS YALÇIN
- Prediction of mechanical behavior of carbon- based nano structures
Karbon esaslı nano yapıların mekanik davranışlarının belirlenmesi
CENGİZ BAYKASOĞLU
Doktora
İngilizce
2012
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. ATA MUĞAN
- Investigation of asymmetric synthesis of chiral amines by biological oxidoreductase enzymes by computational methods
Biyolojik oksidoredüktaz enzimleri ile kiral aminlerin asimetrik sentezinin hesaplamalı kimya yöntemleri ile incelenmesi
MERVE KOPAR
- Machine learning assisted force field development for nucleic acids
Nükleik asitler için makine öğrenimi destekli kuvvet alanı geliştirilmesi
GÖZDE İNİŞ DEMİR
Doktora
İngilizce
2024
Kimyaİstanbul Teknik ÜniversitesiHesaplamalı Bilim ve Mühendislik Ana Bilim Dalı (disiplinlerarası)
PROF. DR. ADEM TEKİN
- Hidroksil grup içeren kaliksaren temelli moleküllerin çizgisel ve çizgisel olmayan optik özelliklerinin incelenmesi
Investigation of linear and non-linear optical properties of calyxarene-based molecules containing hydroxyl group
FUNDA TEKGÖZOĞLU
Yüksek Lisans
Türkçe
2024
Fizik ve Fizik MühendisliğiSelçuk ÜniversitesiFizik Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET EMRE KAVRUK