Unified local-global prompt learning for few-shot vision-language adaptation via optimal transport
Optimal taşıma aracılığıyla az örnekli görme-dil uyarlaması için birleşik yerel-global istem öğrenme
- Tez No: 992230
- Danışmanlar: PROF. DR. ALPTEKİN TEMİZEL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Veri Bilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Büyük ölçekli görme-dil modellerinin az sayıda örnekle uyarlanması (few-shot adaptation), temel olarak bütüncül görüntü gömüleriyle eşleştirilen yumuşak istemlerin (soft prompts) öğrenilmesine dayanır. Bu global yaklaşım genel tanıma görevlerinde etkili olsa da, özelleşmiş görevler için gerekli olan ince ayrıntılı ve parça düzeyindeki öznitelikleri yakalamada yetersiz kalır. Bu tezde, global anlamsal tutarlılığı yerel ayırt edici uyumla uzlaştıran birleşik bir çerçeve öneriyoruz. Mimarimiz, standart CLIP tarzı bir global dalı, Değer Değer (V-V) dikkat ve Optimal Taşıma (Optimal Transport - OT) ile yönlendirilen yenilikçi bir yerel yol ile birleştirir. V-V akışı tutarlı görsel yapıları çıkarırken, OT mekanizması belirgin görüntü yamaları ile sınıfa özgü yerel istemler arasında dengeli bir atama sağlayarak standart dikkat mekanizmalarında yaygın olan“istem çökmesini”(prompt collapse) önler. 11 veri setini kapsayan standart az örnekli kıyaslama kümesi (16-atışlı ViT-B/16) üzerindeki kapsamlı değerlendirmeler, yöntemimizin GalLoP ve PromptSRC gibi güçlü referans modelleri geride bırakarak %85.1 ortalama doğruluk ile literatürdeki en iyi performansa ulaştığını göstermektedir. Kazanımların doku ağırlıklı ve ince ayrıntılı veri setlerinde belirgin olması önerilen yerel modellemenin etkililiğini doğrulamaktadır. Ayrıca, özelleşme ve gürbüzlük (robustness) arasında kritik bir denge gözlemlenmiştir. Öğrenilebilir bir yerel izdüşüm dağılım içi (in-distribution) doğruluğu en üst düzeye çıkarırken, bunun kaldırılması Dağılım Dışı (OOD) tespit ölçütlerinde en iyi performansı gösteren yüksek kalibrasyonlu bir varyant ortaya çıkarmaktadır.
Özet (Çeviri)
Few-shot adaptation of large-scale vision-language models typically relies on learning soft prompts matched to holistic image embeddings. While effective for general recognition, this global approach often fails to capture the fine-grained, part-level attributes necessary for specialized tasks. In this thesis, we propose a unified framework that reconciles global semantic consistency with local discriminative alignment. Our architecture couples a standard CLIP-style global branch with a novel local pathway driven by Value–Value (V–V) attention and Optimal Transport (OT). The V–V stream extracts coherent visual structures, while the OT mechanism enforces a balanced assignment between salient image patches and class-specific local prompts, preventing the“prompt collapse”common in standard attention. Extensive evaluation on the 11-dataset few-shot benchmark (ViT-B/16) demonstrates that our method achieves a new state-of-the-art average accuracy of 85.1% (16-shot), outperforming strong baselines like GalLoP and PromptSRC. The gains are most pronounced on texture-heavy and fine-grained datasets, validating the efficacy of explicit local modeling. Furthermore, we identify a critical trade-off between specialization and robustness: while a learnable local projection maximizes in-distribution accuracy, removing it yields a highly calibrated variant that achieves state-of-the-art performance on Out-of-Distribution (OOD) detection benchmarks.
Benzer Tezler
- A unified framework for secure and intelligent ECG signal processing via chaotic encryption, fully homomorphic computation and federated learning
Kaotik şifreleme, tam homomorfik hesaplama ve federatif öğrenme ile güvenli ve akıllı EKG sinyal işleme için birleşik bir çerçeve
BEYAZIT BESTAMİ YÜKSEL
Doktora
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AYŞE YILMAZER METİN
- Historical writing in the late Ottoman Empire: global encounters and historical experiments of Hayrullah Efendi
Geç Osmanlı İmparatorluğu'nda tarih yazımı: Hayrullah Efendi'nin küresel karşılaşmaları ve tarihsel deneyleri
CAN VEYSELGİL
Doktora
İngilizce
2018
TarihBoğaziçi ÜniversitesiTarih Ana Bilim Dalı
PROF. DR. ARZU ÖZTÜRKMEN YILMAZ
DOÇ. DR. MELTEM TOKSÖZ YALÇIN
- Küresel ticarette yeni medya merkezli iletişim stratejileri: Alibaba.com örneği
New media-based communication strategies in global trade: The case of Alibaba
ÖZGE UZUNDUMLU İNSUYU
Doktora
Türkçe
2024
Halkla İlişkilerAtatürk ÜniversitesiTemel İletişim Bilimleri Ana Bilim Dalı
DOÇ. DR. ZEYNEP DEMİRCİOĞLU BİRİCİK
- Hybrıd explaınable model for class-ımbalance mıtagatıon and multı-protocol attack detectıon ın ıomt devıces
Hybrid explainable model for class-imbalance mitagation and multi-protocol attack detection in iomt devices
ABUALQASIM KHALIL ISMAEL ISMAEL
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ROA'A ALI ABDULLAH MOHAMMEDQASEM
- The un or NATO involvement in Syria: A comparative study on civil war
Başlık çevirisi yok
ABDULLAH SOYDEMİR