Generalized zero-shot object recognition without class-attribute relations
Sınıf-nitelik ilişkileri gerektirmeyen genelleştirilmiş sıfır-örnekli nesne tanıma
- Tez No: 665563
- Danışmanlar: DR. ÖĞR. ÜYESİ RAMAZAN GÖKBERK CİNBİŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 54
Özet
Son on yılda, gözetimli derin öğrenme yaklaşımlarındaki ilerlemelerin ardından görüntü sınıflandırma performanslarında büyük gelişmeler kaydedildi. Ancak, bu gözetimli yaklaşımlar, genellikle büyük miktarlarda etiketli eğitim verilerine ihtiyaç duymaktadır. Bu örneklerin toplanması ve etiketlenmesi özellikle çok sayıda sınıfı kapsamak gerektiğinde oldukça külfetli ve hataya açık bir iştir. Gözetimli tanıma tekniklerine ait bu sınırın üstesinden gelmeye yönelik umut verici yaklaşımlardan biri, sıfır-örnekli öğrenmedir. İnsanın görme yeteneklerinden esinlenen sıfır-örnekli öğrenme, yardımcı sınıf bilgisi olarak adlandırdığımız, tamamen kategori genelindeki bilgilere dayanarak yeni nesne kategorilerinin tanınmasını amaçlamaktadır. Genelleştirilmiş sıfır-örnekli öğrenme adı verilen daha modern bir alternatifi ise, sadece sıfır-örnekli sınıfların yeni örneklerini değil, aynı zamanda gözetimli eğitim örnekleri bulunan sınıfların yeni örneklerini de doğru şekilde sınıflandırabilen modeller oluşturmayı amaçlamaktadır. Son zamanlardaki genelleştirilmiş sıfır-örnekli öğrenme yaklaşımları, her bir ilgili sınıfı karakterize eden niteliklerin bir uzman tarafından tanımlanmasını gerektiren, nitelik tabanlı yardımcı sınıf bilgisine dayanır. Gerçekte, bu tür sınıf-nitelik ilişkilerini tanımlamak genellikle zor olduğundan, bu gereklilik sıfır-örnekli öğrenmenin uygulanabilirliğini büyük ölçüde azaltır. Bu gerekliliği aşmak için, bu tezde, yalnızca yeni sınıfların adlarına ihtiyaç duyan ve sözde-niteliklerini tamamen bir dizi aday sözde-niteliklerin kelime temsillerine dayalı olarak uçtan uca dolaylı öğrenen bir model öneriyoruz. Bu tür kelime temsillerinin elde edilmesi, sınıf-nitelik ilişkilerine göre çok daha kolaydır, çünkü vektör uzayında kelime temsillerini sağlayan önceden eğitilmiş bir dil modelinden ilgili bir dizi kelime kolayca seçilip kullanılabilir. Ek olarak, genelleştirilmiş sıfır-örnekli öğrenmeyi geliştirmek için sınıftan sınıfa isim benzerlik skorlarına dayanan karşılaştırmalı basit bir kayıp terimi öneriyoruz. Deneysel sonuçlarımız, önerilen yaklaşımın sınıf adına dayalı genelleştirilmiş sıfır-örnekli öğrenme için en başarılı olduğunu göstermektedir.
Özet (Çeviri)
Over the last decade, great improvements have been achieved in image classification performances following the advances in supervised deep learning approaches. These supervised approaches, however, typically require substantial amounts of labeled training examples. Collecting and annotating such examples is a cumbersome and error-prone task, especially when a large number of classes needs to be spanned. One of the promising approaches towards overcoming this limitation of supervised recognition techniques is zero-shot learning. Inspired by the abilities of human vision, zero-shot learning aims to enable recognition of novel object categories purely based on category-wide information, which we refer to as auxiliary class information. A more modern variant, called generalized zero-shot learning, aims to build models that can accurately classify novel samples of not only zero-shot classes but also those with supervised training examples. Most of the recent generalized zero-shot learning approaches rely on attribute based auxiliary class information, where the attributes characterising each class of interest needs to be defined by an oracle. In practice, this dependency greatly reduces the practicality of zero-shot learning as it is often difficult to define such class-attribute relationships. To bypass this requirement, in this thesis, we propose a model that requires only class names of novel classes and implicitly learns pseudo-attributes in an end-to-end manner purely based on a set of candidate pseudo-attribute word embeddings. Such word embeddings are much easier to collect than class-attribute annotations, as one can easily select and utilize a set of relevant words from a pre-trained language model that provides vector-space word embeddings. Additionally, we propose a simple contrastive loss term for improving generalized zero-shot learning based on simple class-to-class name similarity scores. Our experimental results show that the proposed approach yields state-of-the-art class name based generalized zero-shot learning.
Benzer Tezler
- Recognizing visual places from landscapes with zero-shot learning
Örneksiz öğrenme yöntemi ile görsel yerler üzerinden tanıma gerçekleştirme
ERDEM SAVAŞCI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBaşkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE SÜMER
- Learning efficient visual embedding models under data constraints
Veri kısıtlamaları altında verimli görüntü gömme modelleri öğrenme
MERT BÜLENT SARIYILDIZ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SELİM AKSOY
YRD. DOÇ. DR. RAMAZAN GÖKBERK CİNBİŞ
- Semantik derin öğrenme kullanılarak nesnelerin kategorize edilmesi ve sınıflandırılması
Categorization and classification of objects using semantic deep learning
EMRE AKDEMİR
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
PROF. DR. NECAATTİN BARIŞÇI
- Sign language recognition with zero-shot learning
Sıfır-atış öğrenmesi ile işaret dili tanıma
GİRAY SERCAN ÖZCAN
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBaşkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. EMRE SÜMER
DR. YUNUS CAN BİLGE
- Closed-form sample probing for training generative models in zero-shot learning
Sıfır örnekle öğrenmede kapalı form örnek değerlendirme ile üretici model eğitimi
SAMET ÇETİN
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ RAMAZAN GÖKBERK CİNBİŞ