Augmenting clip-based few shot recognition using shapes and concepts
Şekiller ve kavramlar kullanarak clip tabanlı az örnekli tanımayı geliştirme
- Tez No: 988315
- Danışmanlar: DOÇ. DR. EMRE AKBAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
CLIP gibi çağdaş derin öğrenme modelleri, çok çeşitli görevlerde güçlü sıfır örnekli nesne tanıma performansı sergiliyor. Ancak, bu modeller, az örnekli rejimlerde bulunan sınırlı denetimden h\^al\^a önemli ölçüde yararlanmaktadır. Bu tez, az örnekli uyarlama modellerini veri açısından daha verimli ve/veya yorumlanabilir h\^ale getirmek için dışarıdan bilgi dahil etmenin yollarını araştırmaktadır. Öncelikle, nesne tanımada sadece şekil temelli niteliklerin rolünü inceliyor ve bunların ham RGB temelli niteliklere kıyasla veri açısından daha verimli olduğunu gösteriyoruz. Bu bulgulardan ve doku-şekil önyargısı literatüründen esinlenerek, CLIP-tabanlı az örnekli tanımayı ek bir şekil koşullu dal ile genişleten ve mütevazı kazanımlar sağlayan \emph{v1-shape} modelini sunuyoruz. Ayrıca, kararlarını daha genel semantik kavramlara dayandırmaya teşvik edilen CLIP tabanlı bir kavram darboğaz modeli olan \emph{v1-concept}'i tanıtıyoruz ki bu model, birçok bağlamda az sayıda örnekle tanıma doğruluğunu artırıyor. Son olarak, çıkarım sırasında sıfır örnek ve doğrusal değerlendirme logitlerini uyarlanabilir bir şekilde harmanlayan bir CLIP uyarlama yaklaşımını araştırıyoruz.
Özet (Çeviri)
Contemporary deep learning models, such as CLIP, exhibit strong zero-shot recognition performance on a broad range of tasks. However, they still substantially benefit from limited supervision in few-shot regimes. This thesis investigates ways to inject external knowledge to make few-shot adaptation models more data-efficient and/or interpretable. We start with studying the role of shape-only representations in object recognition and show that they are more data-efficient than raw RGB representations. Motivated by these findings, and texture versus shape bias literature, we propose \emph{v1-shape}, augmenting CLIP-based few shot recognition with an additional shape-conditioned branch, yielding modest gains. We also introduce \emph{v1-concept}, a CLIP-based concept bottleneck model encouraged to base its decisions on more general semantic concepts, improving few-shot accuracy under many settings. Finally, we explore a CLIP adaptation approach blending zero-shot and linear probe logits adaptively during inference.
Benzer Tezler
- Understanding actions in instructional videos
Eğitici videolardaki eylemleri anlamak
ÖZGE YALÇINKAYA ŞİMŞEK
- Augmenting underwater experience: Design of a diving mask
Sualtı deneyimini arttırmak: Dalış maskesi tasarımı
NERMİN SENA ÖZGER
- Augmenting authentication with behavioral biometrics in a mobile banking application
Mobil bankacılık uygulamasında davranışsal biyometri ile artırılmış kimlik doğrulama
OKAN ENGİN BAŞAR
Yüksek Lisans
İngilizce
2019
Galatasaray ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Augmenting occupant thermal experience with cyber-physical-social systems: A case study on adaptive vents
Başlık çevirisi yok
CEM KESKİN
- Augmenting a Turkish dataset for spam filtering using natural language processing techniques
Doğal dil işleme teknikleri kullanılarak spam filtreleme için Türkçe veri kümesinin genişletilmesi
AYŞENUR AKSOY