Attention mechanisms for semantic few-shot learning
Anlamsal az örnekle öğrenme için odaklanmamekanizmaları
- Tez No: 688165
- Danışmanlar: DR. ÖĞR. ÜYESİ RAMAZAN GÖKBERK CİNBİŞ, DOÇ. DR. NAZLI İKİZLER CİNBİŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 53
Özet
Çağdaş denetimli öğrenme yaklaşımlarındaki en temel zorluklardan biri etiketli ör- neklere olan bağımlılıktır. Özellikle modern yaklaşımlar geniş çaplı etiketli eğitim kümeleri olmadan düşük performans göstermektedir. Ancak gizlilik açısından hassas veri gerektiren, ayrıntılı sınıflandırma içeren ve benzeri çoğu pratik problemde ge- niş çaplı eğitim kümesi oluşturmak çoğu zaman mümkün olmamaktadır. Makine öğ- renmesi alanında, bu zorluğa çözüm arayan çalışma konularından biri de az örnekle öğrenmedir. Az örnekle öğrenmedeki temel amaç, az sayıda etiketli örnek üzerinden yeni sınıfları modelleyebilmektir. Az örnekle öğrenmedeki ana zorluklardan biri, sınıflara yönelik eğitim verisindeki azlıktan dolayı ortaya çıkan muğlaklıktır. Bu tezde, az örnekle öğrenme problemin- deki temel muğlaklık sorunun aşılmasına yönelik olarak, meta modelin anlamsal bil- gilerle yönlendirilmesi hedeflenmektedir. Bu noktada hedef sınıflandırıcıların oluştu- rulmasında sınıfların anlamsal gösterimlerinden faydalanan meta öğrenme modelleri oluşturmaktayız. Eğitim örneklerinin ve gösterim boyutlarının önemini tahmin eden ve kullanan anlamsal bilgiyle koşullandırılmış öznitelik ve örnek odaklanması meka- nizmaları önermekteyiz. Örnek odaklanmasındaki amacımız her bir eğitim örneğinin ait olduğu sınıf için temsil edilebilirliği ölçüsünde ağırlıklandırılmasıdır. Daha sonra her bir örnekten çıkarılan bilgi bu ağırlıklar doğrultusunda kullanılmaktadır. Öznite- lik odaklanmasında her bir sınıfa ait anlamsal öznitelik vektörünü baz alarak görsel öznitelik vektörünün boyutlarının ağırlık hesabı amaçlanmaktadır. Ayrıca, az örnekle öğrenme probleminde örnek gürültüsü problemini de ele almaktayız. Yanlış etiket- leme veya veri toplamadaki hatalardan kaynaklanan örneklerde gürültü varlığı, gerçek dünya uygulamalarında olası bir senaryodur. Deneysel sonuçlarımız hem gürültülü örnek varlığında hem de yokluğunda önerdiğimiz modelin başarısını göstermektedir.
Özet (Çeviri)
One of the fundamental difficulties in contemporary supervised learning approaches is the dependency on labelled examples. Most state-of-the-art deep architectures, in particular, tend to perform poorly in the absence of large-scale annotated training sets. In many practical problems, however, it is not feasible to construct sufficiently large training sets, especially in problems involving sensitive information or consisting of a large set of fine-grained classes. One of the main topics in machine learning research that aims to address such limitations is few-shot learning where only few labeled samples are made available for each novel class of interest. An inherent difficulty in few-shot learning is the various ambiguities resulting from having only few training samples per class. To tackle this fundamental challenge in few-shot learning, in this thesis, we propose an approach that aims to guide the meta-learner via semantic priors. To this end, we build meta-learning models that can benefit from prior knowledge based semantic representations of classes of interest when synthesizing target classifiers. We propose semantically-conditioned feature attention and sample attention mechanisms that estimate and utilize the importance of representation dimensions and training instances. In sample attention, we aim to weigh each individual training example based on its representativeness for the related class. We, then, use the information extracted from each example proportional to its individual weight. In feature attention, we aim to weigh each visual feature dimension based on the semantic embedding vectors we obtain for each class. We also study the problem of sample noise in few-shot learning, where some training examples are irrelevant due to annotation or data collection errors, which can be the case for various real-world problems. Our experimental results demonstrate the effectiveness of the proposed semantic few-shot learning model with and without sample noise.
Benzer Tezler
- Object detection with minimal supervision
Asgari denetim ile nesne tespiti
BERKAN DEMİREL
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ RAMAZAN GÖKBERK CİNBİŞ
DOÇ. DR. NAZLI İKİZLER CİNBİŞ
- Derin öğrenme yöntemleri kullanarak 3B geometri işleme ve uygulamaları
3D geometry processing and applications by using deep learning methods
KAYA TURGUT
Doktora
Türkçe
2022
Elektrik ve Elektronik MühendisliğiEskişehir Osmangazi ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HELİN DUTAĞACI
- Computational approaches to study drug resistance mechanisms
İlaç direnç mekanizmaları için işlemsel yaklaşımlar
ZOYA KHALID
Doktora
İngilizce
2017
BiyolojiSabancı ÜniversitesiMoleküler Biyoloji-Genetik ve Biyomühendislik Ana Bilim Dalı
Prof. Dr. İSMAİL ÇAKMAK
- Investigation of semantic effects in oddball paradigm through event related potentials
Seyrek uyaran paradigmasındaki anlamsal etkilerin olay ilişkili potansiyeller ile incelenmesi
SEDA NİLGÜN DUMLU
Yüksek Lisans
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiSağlık Bilişimi Ana Bilim Dalı
YRD. DOÇ. DR. DİDEM GÖKÇAY
DOÇ. DR. ADİLE ÖNİZ
- Aktör yapısına dayalı paralel programlama ortamının tasarımı ve gerçeklenmesi
Design and implementation of a parallel programming environment based on actors
MAHMUT TAYLAN KANDEMİR
Yüksek Lisans
Türkçe
1992
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiDOÇ. DR. TAKUHİ NADİA ERDOĞAN