Kuantum hesaplama temelli optimizasyon yöntemleri ile büyük dil modellerinin eğitim ve çıkarım süreçlerinin iyileştirilmesi
Improving training and inference processes of large language models with quantum computing-based optimization methods
- Tez No: 1013186
- Danışmanlar: DR. ÖĞR. ÜYESİ ALİ SARIKAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Marmara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Büyük dil modelleri, doğal dil işleme alanında metin sınıflandırma, özetleme ve içerik üretimi gibi görevlerde güçlü sonuçlar üretmektedir. Buna karşılık bu modellerin eğitimi, özellikle ince ayar aşamasında, yüksek hesaplama maliyeti, yoğun enerji tüketimi ve çok sayıda deneme gerektiren hiperparametre arama süreçleri nedeniyle önemli bir verimlilik problemi doğurmaktadır. Bu tezde, kuantum algoritmalarının olasılıksal keşif yeteneği ile klasik Bayesyen optimizasyonun yerel iyileştirme gücünü bir araya getiren ardışık kuantum--klasik hibrit bir hiperparametre optimizasyon yaklaşımı önerilmektedir. Önerilen çerçeve, BERT tabanlı bir metin sınıflandırma modeli üzerinde Emotion ve TweetEval veri kümeleri kullanılarak değerlendirilmiştir. Karşılaştırma kapsamında klasik Bayesyen optimizasyon (Optuna), rastgele başlatmalı Bayesyen arama (RandomOptuna), erken durdurma temelli Asenkron Ardışık Yarıya İndirme Algoritması (ASHA), Kuantum Yaklaşık Optimizasyon Algoritması (QAOA), Kuantum Gradyan İnişi (QGD) ve bunların ardışık hibrit türevleri (QAOA--Optuna ve QGD--Optuna) incelenmiştir. Tüm yöntemler eşit deneme bütçesi ve çoklu tohum koşulları altında; doğruluk, makro-F1, doğrulama kaybı, genelleme farkı, yakınsama davranışı ve enerji tüketimi ölçütleriyle değerlendirilmiştir. Bulgular, hibrit yapıların her karşılaştırmada tek yönlü bir enerji üstünlüğü üretmediğini, ancak başarı ve maliyet birlikte okunduğunda daha dengeli bir optimizasyon profili sunduğunu göstermektedir. Özellikle QAOA--Optuna yaklaşımı, TweetEval veri kümesinde en güçlü bütüncül dengeyi üretmiş; Emotion veri kümesinde ise en düşük doğrulama kaybı ile yüksek test başarımını bir araya getirmiştir. Çalışmada ayrıca doğruluk, makro-F1 ve enerji tüketimini aynı karar yüzeyi üzerinde değerlendirmek amacıyla Hibrit Başarım Ölçütü (Hybrid Performance Metric -- HPM) kullanılmıştır. Sonuçlar, kuantum katkısının model mimarisinden çok optimizasyon katmanında değerlendirildiğinde, büyük dil modeli ince ayarında uygulanabilir ve enerji farkındalıklı bir alternatif sunabildiğini ortaya koymaktadır.
Özet (Çeviri)
Large Language Models (LLMs) have delivered strong performance across a wide range of Natural Language Processing tasks. However, fine-tuning these models remains costly in terms of computation, energy consumption, and repeated hyperparameter trials. This thesis proposes a sequential hybrid quantum--classical hyperparameter optimization framework that combines the probabilistic exploration capacity of quantum algorithms with the local refinement capability of classical Bayesian optimization. The framework is evaluated on a BERT-based text classification setting using the Emotion and TweetEval datasets. The experimental comparison includes Optuna, RandomOptuna, ASHA, Quantum Approximate Optimization Algorithm (QAOA), Quantum Gradient Descent (QGD), and their sequential hybrid variants (QAOA--Optuna and QGD--Optuna). All methods are tested under identical trial budgets and multiple random seeds, and are assessed using accuracy, macro-F1, validation loss, generalization gap, convergence behavior, and total energy consumption. The results do not indicate a uniform energy advantage for the hybrid methods in every comparison. Instead, they show that the hybrid designs provide a more balanced optimization profile when predictive quality and computational cost are interpreted together. In particular, QAOA--Optuna achieves the strongest overall balance on TweetEval, while also combining the lowest validation loss with high test performance on Emotion. To support this multi-dimensional evaluation, the thesis employs the Hybrid Performance Metric (HPM), which jointly considers predictive quality and energy use. Overall, the findings suggest that quantum contributions become more meaningful when positioned in the optimization layer rather than in the model architecture itself, providing a practical and energy-aware alternative for fine-tuning Transformer-based language models.
Benzer Tezler
- Ni-B ikili alaşım sisteminde Ni zengin bazı ara fazların manyetik özellikleri
Magnetic properties of some Ni rich intermediate phases in Ni-B binary alloy system
R.HALUK MUTLU
- Coulomb artı lineer potansiyelde kuantum durumlar
Quantum states for coulomb plus linear potential
MAHMUT EKEN
