On disentangled representation learning
Ayrışık gösterim öğrenme üzerine
- Tez No: 891761
- Danışmanlar: PROF. DR. FATOŞ TUNAY YARMAN VURAL, PROF. DR. SİNAN KALKAN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Ayrışıklik (Disentanglement), verileri oluşturan temel varyasyon kaynaklarının bağımsız olarak yakalandığı bir gösterim öğrenme problemidir. Bu konuda önde gelen çalışmalardan biri olan Beta Variational Auto Encoder (β-VAE) modeli, VAE modelini bir empirik olarak eniyilenen bir hiperparametre olan β ile genişletir. Bu tezde, β-VAE modelinin ayrıştırma kapasitesini arttırmayı amaçlayan üç yenilik öneriyoruz. İlk olarak, β değerini otomatik olarak bulmaya yarayan Learnable VAE (L-VAE) modelini öneriyoruz. L-VAE isimli modelin amacı β-VAE modelinde karşılaştığımız parametre eniyilemesi sorununu ortadan kaldırmaktır. L-VAE modeli, kayıp fonksyonundaki ayrıştırma ve yeniden oluşturma terimlerinin ağırlıklarını öğrenerek bu ikisi arasındaki dengeyi dinamik olarak kontrol edebilir. Kayıp fonksyonuna getirdiğimiz bu ağırlıklar mimari ağırlıklarıyla eşzamanlı olarak öğrenildiğinden β parametresinin deneysel olarak eniyilenmesi yükünü ortadan kaldırır. Hem β-VAE hem de VAE modelleri gösterimin bütün boyutları üzerinde aynı ağırlıkları kullanmaktadır. Ancak biz bu tezde her boyutun farklı bir ayrıştırma seviyesinde kalabileceğini gösteriyoruz. Her boyut için farklı bir ağırlık öğrenmek için L-VAE modelini geliştirerek Multi-Dimensional Learnable VAE (mdL-VAE) isimli ikinci bir model öneriyoruz. Deneysel olarak iki modelin de β eniyilemesine gerek duymaksızın literatürdeki modellere eşdeğer veya daha iyi ayrıştırma/yeniden oluşturma dengesi oluşturduğunu ve mdL-VAE modelinin altta yatan değişkenlik faktörlerini anlama konusunda önemli bilgiler sunduğunu gösteriyoruz. Son olarak, Correlation-based Disentanglement (CbD) isimli korelasyon bazlı bir ayrışıklık ölçüm yöntemi öneriyoruz. Bu yöntem gösterimdeki her boyut için ayrışıklık miktarını güçlü şekilde ölçmekte, ve konu üstünde üstünde yorum yapmayı kolaylatırmaktadır. CbD ile ayrışık gösterim öğrenme modellerinim performanslarını ölçülürken, modeller hakkında önemli bilgiler elde ettiğimizi deneysel olarak gösteriyoruz.
Özet (Çeviri)
Disentanglement is the problem of obtaining a representation, where the underlying sources of variation, generating the data are independently captured. A pioneering DRL method is Beta Variational Auto Encoder (β-VAE), which introduces a new hyperparameter β to weight the disentanglement term of the VAE loss function, which is empirically optimized. In this thesis, we make three contributions to improve the disentanglement capacity of β-VAE. First, to automatically estimate the β parameter, we propose Learnable VAE (L-VAE). L-VAE, mitigates the hyperparameter optimization problem of β-VAE by learning the relative weights of different terms in the loss function to dynamically control the trade-off between disentanglement and reconstruction. These weights and the parameters of the model architecture are learned concurrently, eliminating the complexity of empirical hyperparameter optimization. Both β-VAE and L-VAE introduce the same weight on all of the dimensions of the representation. However, we show that each dimension has a different degree of disentanglement. In order to dynamically learn an independent weight per dimension, we propose Multi-Dimensional Learnable VAE (mdL-VAE) as an extension to L-VAE. We show that both methods provide on par or better disentanglement-reconstruction trade-off without tuning a β hyperparameter and that mdL-VAE provide useful insights about the entanglement between the underlying factors of variations. Finally, we introduce a novel correlation-based disentanglement (CbD) measure that allows interpreting the degree of disentanglement for each dimension of the representation robustly. We demonstrate that CbD provides complementary and useful insights about the disentanglement performance of different disentanglement methods.
Benzer Tezler
- Disentangled representation learning in isolated sign language recognition
İzole işaret dili tanımada ayrıştırılmış temsil öğrenimi
İPEK ERDOĞAN
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İNCİ MELİHA BAYTAŞ
- Yüz ifadesi tanımada önyargısız ve ayrıştırılmış temsillerin öğrenilmesi
Learning debias and disentangled representation in facial expression recognition
BÜŞRA KOCAÇINAR
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Kültür ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. FATMA PATLAR AKBULUT
- Monocular depth estimation with self-supervised representation learning
Öz-denetimli temsil öğrenmeyle monoküler derinlik tahmini
UFUK UMUT ŞENTÜRK
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZLI İKİZLER CİNBİŞ
- Learning object-centric representations based on slots in real world scenarios
Gerçek dünya senaryolarında slotlara dayalı nesne-odaklı temsillerin öğrenilmesi
ADİL KAAN AKAN
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
PROF. DR. YÜCEL YEMEZ
- Nöromorfik hesaplama ve memristor tabanlı ağ saldırı tespit sistemleri: Siber güvenlikte yeni yaklaşımlar
Neuromorphic computing and memristor-based network attack detection systems: New approaches in cyber security
YUSUF ETKA KÖYLÜ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. İLHAN KOCAARSLAN