Geri Dön

BAYESIAN INFERENCE FRAMEWORKS FOR LLM ACTIVATION SPACE OPTIMIZATION: A STEIN VARIATIONAL AND PARAMETRIC APPROACH

BÜYÜK DİL MODELİ AKTİVASYON UZAYI OPTİMİZASYONU İÇİN BAYESÇİ ÇIKARIM YAPILARI: STEIN VARYASYONEL VE PARAMETRİK BİR YAKLAŞIM

  1. Tez No: 1012102
  2. Yazar: AYTAÇ KASIMOĞLU
  3. Danışmanlar: PROF. DR. MUSTAFA DOĞAN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı (disiplinlerarası)
  12. Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Büyük Dil Modelleri (BDM), son yıllarda Transformer mimarisinin ve devasa veri setlerinin gücünü kullanarak karmaşık akıl yürütme, metin üretme ve programlama görevlerinde olağanüstü yetenekler sergilemiştir. Ancak, bu modellerin internet ölçeğindeki filtrelenmemiş veriler üzerinde eğitilmesi; zararlı, önyargılı veya yanlış içerik üretme risklerini beraberinde getirmektedir. Bu güvenlik açığı, modellerin temel eğitim hedefi olan“bir sonraki kelimeyi tahmin etme”(next-token prediction) optimizasyonu ile insani güvenlik değerleri arasındaki temel uyuşmazlıktan kaynaklanmaktadır. Literatürde endüstri standardı olarak kabul edilen İnsan Geri Bildirimli Pekiştirmeli Öğrenme (RLHF) gibi teknikler bu sorunu çözmede etkili olsa da, hesaplama açısından oldukça maliyetlidirler. Daha da önemlisi, bu ağırlık tabanlı (weight-based) güncellemeler genellikle modelin güvenlik davranışlarını tek ve kırılgan bir ret stratejisine indirgeyerek“mod çökmesine”(mode collapse) yol açmaktadır. Mod çökmesi, modelin tüm zararlı istemlere karşı tekdüze ve ezberlenmiş bir yanıt vermesi durumudur; bu da modeli, çeşitliliği sömüren“jailbreak”saldırılarına karşı açık bir hedef haline getirmektedir. Bu bağlamda Aktivasyon Yönlendirmesi (Activation Steering), model ağırlıklarını güncellemeye (fine-tuning) kıyasla hesaplama açısından verimli, modüler ve çıkarım aşamasında (inference-time) uygulanabilen güçlü bir alternatif sunmaktadır. Ancak güncel aktivasyon yönlendirmesi literatürü, genellikle Ortalama Fark Yönlendirmesi (Mean-Difference Steering- MDS) veya Temel Bileşen Analizi (PCA) gibi Maksimum Olabilirlik Kestirimine dayanan yöntemlerle yürütülmektedir. Bu geleneksel yöntemler, güvenliği latent aktivasyon uzayında basit, doğrusal ve tek bir yön olarak (tek bir statik vektör) kabul eder. Güvenliğin tek bir nokta kestirimi (point estimate) olarak ele alınması, insani değerlerin çok modlu (multimodal) doğasını (örneğin; yasal gerekçeler, etik itirazlar veya konuyu değiştirme gibi farklı ret stratejilerini) yakalayamamakta ve modelin çeşitli güvenlik yanıtları üretme yeteneğini kısıtlamaktadır. Bu sınırlamaları aşmak ve hizalama problemini deterministik bir optimizasyondan çıkarıp bir Bayesçi çıkarım (Bayesian Inference) görevi olarak yeniden formüle etmek amacıyla, bu tez kapsamında Aktivasyon Uzayı Optimizasyonu için Varyasyonel Çerçeveler önerilmektedir. Temel varsayımımız, optimum hizalamanın tek bir vektör ile değil, güvenli davranışlardan oluşan bir olasılık dağılımından örneklem alınarak sağlanabileceğidir. Bu doğrultuda, Mistral-7B-Instruct modelinin devasa boyutlardaki latent aktivasyon uzayının yarattığı“Boyutluluk Laneti”ni (Curse of Dimensionality) aşmak üzere iki özgün yöntem geliştirilmiştir: 1. Geometrik Yaklaşım (SVGD): Parametrik olmayan bir yaklaşım olan Stein Varyasyonel Gradyan İnişi, tek bir vektör yerine bir vektör topluluğunu (parçacıkları) eş zamanlı olarak optimize eder. Bu çalışmada SVGD algoritması, yüksek boyutlu uzaylarda“çekirdek açlığı”(kernel starvation) problemini çözmek üzere özgün bir Fisher Bilgi Maskesi ile desteklenmiş ve vektörlerin anlamsal uzaydan çıkmasını önlemek için fiziksel bir Taylor Freni mekanizması ile donatılmıştır. 2. Parametrik Yaklaşım (EMARE-VI): Entropi-Maksimizasyonlu Asimetrik İtimli Topluluklar Varyasyonel Çıkarım olarak adlandırılan bu özgün mimari, bir Entropi-Düzenleyici İtici Karma Model (Entropy-Regularizing Repulsive Mixture Model) olarak işlev görür. Asimetrik çapraz entropi itme mekanizması kullanarak birden fazla hafif Gauss bileşenini birbirinden uzaklaşmaya zorlar. Bu entropi düzenlemesi, hesaplama açısından imkansız olan tam kovaryans matrislerine ihtiyaç duymadan, sistemin karmaşık yüksek boyutlu güvenlik manifoldunu başarılı bir şekilde haritalamasını sağlar. Önerilen çerçevelerin başarımı, fiziksel zarardan yasa dışı faaliyetlere kadar uzanan geniş bir yelpazedeki 50 farklı saldırgan (adversarial) istem üzerinde titizlikle değerlendirilmiştir. Deneysel sonuçlarımız, olasılıksal aktivasyon optimizasyonunun geleneksel güvenlik-çeşitlilik ödünleşimini (trade-off) tamamen ortadan kaldırdığını ampirik olarak kanıtlamaktadır. Temel (baseline) modellerde ret oranları %14.8 ile %16.8 arasında kalırken ve anlamsal çeşitliliği ölçen Self-BLEU skorları (sırasıyla 0.631 ve 0.773) ciddi bir mod çökmesine işaret ederken; geliştirilen EMARE-VI çerçevesi yapısal tekrarlamayı (Self-BLEU) 0.184 gibi çarpıcı bir seviyeye indirerek literatürde eşine az rastlanır bir çeşitlilik sağlamış ve aynı zamanda mutlak Ret Oranını %34.4'e çıkararak güvenliği iki katından fazla artırmıştır. Buna ek olarak, başka bir test düzeneğinde, Manifold-Uyumlu Stein Varyasyonel Gradyan İnişi varyantı yüzde %29.6 Ret Oranı ve 0.223 Self-BLEU skoruyla ilgili alanlarda birinci oldu. Ayrıca ilk yapılan testlerin niteliksel analizinde, örneğin“Nasıl bomba yapılır?”istemine karşı, SVGD'den türetilen topluluktaki birinci vektörün yasal gerekçelerle, ikinci vektörün ise etik riskleri vurgulayarak yanıt verdiği gözlemlenmiştir. Dahası, bu tez çalışması güvenliği sürekli bir dağılım olarak modellemenin, güvenlik önlemlerinin model performansını düşürdüğü geleneksel“hizalama vergisinden”(alignment tax) kaçındığını matematiksel olarak ispatlamıştır. Çıkarım aşamasındaki varyasyonel yöntemlerimiz, modelin akıcılığını bozmak yerine, Transformer'ın doğal üretken geometrisine uyum sağlayarak temel modelin perpleksite (perplexity) değerini 8.600'den 7.219'a düşürmüş ve üretkenlik kalitesini aktif olarak iyileştirmiştir. İlave olarak yüksek boyutluluk problemi için yapılan geliştirmelerin umut vaadettiği gözlemlenmiştir. SVGD temel metodunda itici kuvvetleri arasındaki varyans 10−7 mertebesinde iken yeni önerilen metodların bazılarında bu varyans 0.1 mertebelerine kadar ulaşmıştır. Her ne kadar bu yüksek boyut probleminin çözüldüğü anlamına gelmese de umut vaadeden bir gelişme olarak yorumluyoruz. Buradaki potansiyelin hiperparametre optimizasyonu ile çok daha yükseleceği kanaatindeyiz. Son olarak, literatürdeki önemli bir boşluk doldurularak, aşırı agresif yönlendirmenin modelin dilsel tutarlılığını yok ettiği ve bozuk, anlamsız metinler üretmesine sebep olduğu durumlar“Katastrofik Aktivasyon Kayması”(Catastrophic Activation Shift) olgusu altında formüle edilmiştir. Buna örnek olarak ilk yapılan testlerde, SVGD metodu ile türetilen vektörlerin normunun çok büyüdüğü durumda modelin dil yeteneğini kaybederek bozuk Portekizce veya anlamsız kelimeler ürettiği gözlemlenmiştir. Aynı şekilde özgün metodlar için yapılan testlerde de vektör normlarının büyük olduğu durumda modelin anlamsız kelimeler ürettiği gözlemlenmiştir. Deneysel analizler, tez kapsamında önerilen özgün dinamik frenleme mekanizmalarının, aktivasyon uzayındaki bu müdahaleleri dil modelinin geçerli operasyonel penceresi içinde tutmada elzem olduğunu göstermektedir. Bu çalışma, yapay zeka güvenliğinde olasılıksal yöntemlerin, deterministik ve tek vektörlü yaklaşımlara kıyasla çok daha sağlam, çeşitli ve akıcı bir hizalama sunduğunu ortaya koymaktadır.

Özet (Çeviri)

Large Language Models (LLMs) have proven themselves over the past several years across complex reasoning and generation tasks. Yet, due to the internet-scale corpora these models are trained on, the risk of generating harmful, biased, or untruthful content remains severe. This vulnerability stems from a fundamental conflict between the model's next-token prediction training objective and human safety values. Even though current techniques such as Reinforcement Learning from Human Feedback (RLHF) are effective in addressing this issue, they are computationally expensive and often induce“mode collapse,”where the model becomes redundant and converges to a single, brittle refusal strategy. In this context, Activation Steering offers a lightweight, inference-time alternative to fine-tuning. However, Activation Steering is primarily conducted with methods like Mean-Difference Steering (MDS) or Principal Component Analysis (PCA), which rely on a single, static steering vector. This approach assumes that safety is a simple linear direction in the latent space, resulting in an inability to capture the multimodal nature of human values and severely limiting the model's ability to generate diverse safety responses. To overcome this, we introduce Variational Frameworks for Activation Space Optimization, casting the alignment problem as a Bayesian inference task. We apply both geometric and parametric frameworks to the latent activation space of the Mistral 7B-Instruct model to navigate the high-dimensional geometry of Large Language Models. Instead of learning a single point estimate, our methods optimize distributions of steering vectors. We explore two distinct novel paths: a non-parametric approach via Stein Variational Gradient Descent (SVGD) equipped with our newly introduced Fisher Information Mask and Taylor Brake mechanisms to tackle high dimensionality of the layer we intervene, and a novel parametric architecture using Entropy Maximizing Asymmetric Repulsion Ensemble Variational Inference (EMARE-VI). EMARE-VI functions as an Entropy-Regularizing Repulsive Mixture Model; by utilizing an asymmetric penalty to force multiple lightweight Gaussian components apart, it directly combats the Curse of Dimensionality, mapping the complex safety geometry without the computationally intractable burden of full-covariance matrices. Both frameworks simultaneously push representations toward safety (via cross entropy loss gradients computed on the target response) and away from each other, ensuring the system captures distinct regions of the non-convex safety manifold. We evaluate these approaches against adversarial prompts ranging from physical harm to illegal activities. Our empirical results show that probabilistic optimization completely shatters the traditional safety-diversity trade-off. Where the baseline models tend to suffer mode collapse (a Self-BLEU score of 0.773 and 0.631 for MDS and PCA respectively) with a base refusal rate of only 16.8% and 14.8%, our EMARE VI framework drives structural repetition down to a remarkable 0.184 while more than doubling the Refusal Rate (up to 34.4%). Also, in another experiment setting, a Manifold-Aware SVGD variant achieves the best scores in safety and diversity with 29.6% Refusal Rate and 0.223 Self-BLEU scores. Furthermore, we prove that modeling safety as a continuous distribution avoids the traditional“alignment tax”; rather than degrading fluency, our variational methods actively improve the baseline perplexity (dropping from 8.600 to 7.219). Finally, we formalize the“Catastrophic Activation Shift”—where overly aggressive steering destroys linguistic coherence— and demonstrate that our novel dynamic braking mechanisms can constrain interventions to the valid operational window of the language model.

Benzer Tezler

  1. Tez No

    997240

    Türkçe e-ticaret yorumlarında transformer tabanlı duygu analizi

    Transformer-based sentiment analysis on Turkish e-commerce reviews

    MUHAMMET ŞAMİL İKİZOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2026

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    İşletme Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TUNCAY ÖZCAN

  2. Tez No

    959016

    Evaluating performance of large language models in bluff-based card games: A comparative study

    Blöf temelli kart oyunlarında büyük dil modeline ait performans değerlendirilmesi: Karşılaştırmalı bir çalışma

    İREM ŞALK

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı (disiplinlerarası)

    PROF. DR. SANEM SARIEL UZER

  3. Tez No

    46471

    Dempster-Shafer teorisinin değerlendirme problemine uygulanması

    Application of Dempster-Shafer theory to an evaluation problem

    NECİBE DENİZ

    Yüksek Lisans

    Türkçe

    Türkçe

    1995

    Mühendislik Bilimleriİstanbul Teknik Üniversitesi

    DOÇ.DR. GAZANFER ÜNAL

  4. Tez No

    928826

    Bayesian methods for tackling complex inferential problems in data science

    Veri biliminde karmaşık çıkarım problemleriyle uğraşmak için Bayes yöntemleri

    SONER AYDIN

    Doktora

    İngilizce

    İngilizce

    2024

    İstatistikSabancı Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SİNAN YILDIRIM

  5. Tez No

    1008497

    Development of a computational tool for multi-omics integration and bayesian network analysis of transposable element–derived promoter-proximal regulatory interactions

    Transpozon türevli promotor yakın düzenleyici etkileşimlerin çoklu-omik entegrasyon ve bayes ağlarıyla analizi için hesaplamalı bir araç geliştirilmesi

    NECATİ KAAN KUTLU

    Doktora

    İngilizce

    İngilizce

    2026

    BiyoteknolojiDokuz Eylül Üniversitesi

    Genom Bilimleri ve Moleküler Biyoteknoloji Ana Bilim Dalı

    PROF. GÖKHAN KARAKÜLAH

Geri Dön