Novel optimization models to generalize deep metric learning
Derin metrik öğrenmeyi genelleyen yenilikçi optimizasyon modelleri
- Tez No: 760619
- Danışmanlar: PROF. DR. ABDULLAH AYDIN ALATAN
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 150
Özet
Derin metrik öğrenme (DMÖ), imge gibi anlamsal bilgi içeren verilere parametrik bir fonksiyonun, fonksiyonun değerleri arasındaki l2-uzaklığı anlamsal yakınlığı yansıtacak şekilde yakıştırılmasını amaçlar. Bu davranışa sahip fonksiyonlar görüntü uzayındaki ikişerli sınıf-içi/-dışı yakınlık kısıtlarının ihlalini cezalandıran ampirik beklenen kayıp değerlerinin en-küçültülmesi ile hesaplanır. Kayıp formülasyonlarında her sınıf için öğrenilebilir görüntü vektörü içeren vekil-tabanlı yaklaşımlar en iyilerdir. Bu çalışmada öncelikle vekil-tabanlı yaklaşımların genelleştirme hatalarının karakterizasyonu incelenmiştir. DMÖ bir şans-kısıtlı en-iyileme problemi olarak yeniden tanımlanmıştır. Özenli teorik analiz ile yinelemeli olarak vekil-tabanlı kayıpların en-küçültülmesi ve vekillerin yeni örnekler ile ilklendirilmesinin DMÖ için daha iyi genelleme sağlayabileceği gösterilmiştir. İkincil olarak, DMÖ için elzem gereklilik olan eğitim-dışı sınıflar üzerine genelleme çalışılmıştır. Sıkça kullanılan etkin bir bilgi ortaklama yöntemi olan bütünsel ortalama (BO) incelenmiştir. Teorik ve deneysel bulgular ile BO'nun etkinliği her bir öznitelik vektörünün anlamsal bir olguyu temsil etmesi ve BO'nun bu olguların dışbükey bileşimi olmasıyla açıklanmıştır. Bu kapsamda BO, öğrenilebilir bir ortaklama yöntemi ile genelleştirilmiştir. Önerilen yöntem BO'ya iki ayrık özellik kazandırmaktadır: i) istenmeyen bilgiyi atmayı öğrenerek anlamsal olguların altkümesini seçebilme, ii) her olgunun önemini gözeten ağırlıkları öğrenebilme. Ek olarak, önerilen yöntemin eğitim-dışı sınıflar için genelleyebilmesine yönelik yenilikçi bir ceza fonksiyonu biçimlendirilmiştir. Bu tez çalışması kapsamında sunulan katkıların etkinliği yaygın kullanılan 4 adet referans veri-seti üzerinde yapılan kapsamlı deneysel çalışmalar ile gösterilmiştir.
Özet (Çeviri)
Deep metric learning (DML) aims to fit a parametric embedding function to data of semantic information (e.g. images) so that l2-distance between embedded samples is low whenever they share similar semantic entities. An embedding function of such behavior is attained by minimizing empirical expected pairwise loss that penalizes inter-/intra-class proximity violations in embedding space. Proxy-based methods which use a learnable embedding vector per class in their loss formulation are state-of-the-art. We first address characterizing generalization error of proxy-based methods. We reformulate DML as a chance-constrained optimization problem and through careful theoretical analysis, we show that DML with better generalization guarantees can be achieved by iteratively minimizing a proxy-based loss and re-initializing proxies with embeddings of new samples. Second, we consider critical desideratum for DML: generalization to unseen data. We analyze global average pooling (GAP) which is an effective architectural choice to aggregate information in DML. With theoretical and empirical supports, we explain effectiveness of GAP by considering each feature vector as representing a different semantic entity and GAP as a convex combination of them. Following this perspective, we generalize GAP and propose a learnable generalized sum pooling method (GSP) improving GAP with two distinct abilities: i) the ability to choose a subset of semantic entities, effectively learning to ignore nuisance information, and ii) learning the weights corresponding to the importance of each entity. We further propose a zero-shot loss to ease the learning of GSP. We show the effectiveness of our contributions with extensive evaluations on 4 popular DML benchmarks.
Benzer Tezler
- Video üzerinde derin öğrenme ile nesne sansürlüme
Sensor processing on video with deep learni̇ng
YERNIYAZ BAKHYTOV
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CEMİL ÖZ
- Ai for drug discovery LSTM-driven drug design using selfies for target-focused de novo generation of HIV-1 protease inhibitor candidates in the treatment of AIDS
Yapay zeka tabanlı LSTM destekli ilaç tasarımı: AIDS tedavisinde selfıes kullanarak HIV-1 proteaz odaklı inhibitör adaylarının tasarlanması
M.TALEB ALBRIJAWI
Yüksek Lisans
İngilizce
2023
Biyomühendislikİstanbul Medipol ÜniversitesiBiyomedikal Mühendisliği ve Biyoenformatik Ana Bilim Dalı
PROF. DR. REDA ALHAJJ
- Öz bilgi destekli derin öğrenme yaklaşımları ile hsg gürültü giderme
Self-ınformation empowered deep learning approaches for hsı denoising
ORHAN TORUN
Doktora
Türkçe
2024
Elektrik ve Elektronik MühendisliğiHacettepe ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SENİHA ESEN YÜKSEL ERDEM
PROF. DR. MEHMET ERKUT ERDEM
- Leaf diseases detection using deep learning methods
Derin öğrenme yöntemlerini kullanarak yaprak hastalıklarının tespiti
EL HOUCINE EL FATIMI
Doktora
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. RECEP ERYİĞİT
- Gelecek nesil haberleşme sistemlerinde yapay zeka tabanlı modülasyon tanımlama yöntemi geliştirilmesi
Development of artificial intelligence based modulation recognition method in next generation communication systems
MEHMET MERİH LEBLEBİCİ
Doktora
Türkçe
2024
Elektrik ve Elektronik MühendisliğiDüzce ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ ÇALHAN