Self-supervised learning with an information maximization criterion
Bilgi maksimizasyon kriteriyle kendi kendine denetimli öğrenme
- Tez No: 767992
- Danışmanlar: PROF. DR. ALPER TUNGA ERDOĞAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 100
Özet
Kendi kendini denetleyen öğrenme, genellikle zaman, çaba ve maliyet açısından pahalı olan veri etiketleme gerçekleştirmeden, büyük miktarda veriden etkili temsilleri öğrenmek için bir çözüm sağlar. Genel olarak kendi kendini denetleyen öğrenme yaklaşımıyla ilgili temel sorun çökmedir, yani aynı girdiden üretilen farklı temsilleri eşleştirirken tüm girdiler için aynı temsilleri elde etmektir. Bu tezde, aynı girdinin farklı versiyonlarının gizli temsilleri arasındaki bilgi maksimizasyonunun doğal olarak çöküşü önlediğini ve farklı alt görevlerde rekabetçi ampirik sonuçlar elde ettiğini savunuyoruz. Bu amaçla, gizli temsil argümanları arasındaki korelasyon derecesini yansıtan, ikinci dereceden istatistik tabanlı karşılıklı bilgi ölçüsünü maksimize etmeye dayalı CorInfoMax adında yeni bir kendi kendini denetleyen öğrenme yöntemi öneriyoruz. Aynı girdinin alternatif gizli temsilleri arasında bu bağıntılı bilgi ölçüsünü en üst düzeye çıkarmak iki temel amaca hizmet eder: (1) dejenere olmayan kovaryanslara sahip özellik vektörleri üreterek çökme problemini önler; (2) alternatif temsiller arasındaki doğrusal bağımlılığı artırarak, birbirleri ile alakalı olmasını sağlar. Önerilen bilgi maksimizasyonu hedefi, özellik kovaryans matrisinin log-determinantı tarafından düzenlenen Öklid mesafesine dayalı bir amaç fonksiyonuna basitleştirilmiştir. Öznitelik alanı bozulmasına karşı doğal bir engel görevi gören düzenlileştirme terimi nedeniyle CorInfoMax, temsillerin tüm özellik alanı boyunca yayılmasını zorlayarak boyutsal çöküşü de önler. Ampirik deneyler, CorInfoMax'in farklı görevlerde ve veri kümelerinde en gelişmiş kendi kendini denetleyen öğrenme metotlarına göre daha iyi veya rekabetçi performans sonuçları elde ettiğini göstermektedir.
Özet (Çeviri)
Self-supervised learning provides a solution to learn effective representations from large amounts of data without performing data labeling, which is often expensive in terms of time, effort, and cost.The main problem with the self-supervised learning approach, in general, is collapse, i.e., obtaining identical representations for all inputs while matching different representations generated from the same input. In this thesis, we argue that information maximization among latent representations of different versions of the same input naturally prevents collapse. To this end, we propose a novel self-supervised learning method, CorInfoMax, based on maximizing the second-order statistics-based measure of mutual information that reflects the degree of correlation between the latent representation arguments. Maximizing this correlative information measure between alternative latent representations of the same input serves two main purposes: (1) it avoids the collapse problem by generating feature vectors with non-degenerate covariances; (2) it increases the linear dependence between alternative representations, ensuring that they are related to each other. The proposed information maximization objective is simplified to an objective function based on Euclidean distance regularized by the log-determinant of the feature covariance matrix. Due to the regularization term acting as a natural barrier against feature space degeneracy, CorInfoMax also prevents dimensional collapse by enforcing representations to span across the entire feature space. Empirical experiments show that CorInfoMax achieves better or competitive performance results over state-of-the-art self-supervised learning methods across different tasks and datasets.
Benzer Tezler
- Hybridization of probabilistic graphical models and metaheuristics for handling dynamism and uncertainty
Değişimin ve belirsizliğin ele alınması için olasılıksal çizgesel biçelerin ve sezgi-üstlerinin melezleştirilmesi
GÖNÜL ULUDAĞ
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AYŞE ŞİMA UYAR
- Sigortacılık sisteminde aktif-pasif yönetimi ve Türkiye hayat sigortası örneğinde portföy performansının boyutlarını belirleyen faktörlerin irdelenmesine ilişkin bir model denemesi
Assets and liablity management in the insurance sector and investigating sectors that are determinating dimensions of the portfolio performance by relating to model testing in the Turkish life insurance sector
ALİ İHSAN DOĞAN
Doktora
Türkçe
2001
SigortacılıkMarmara ÜniversitesiBankacılık Ana Bilim Dalı
PROF.DR. ABDÜLGAFFAR AĞAOĞLU
- Deshufflegan: Self-supervised learning for generative adversarial networks
Deshufflegan: Çekişmeli üretken ağlar için öz-denetimli öğrenme
GÜLÇİN BAYKAL CAN
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE ÜNAL
- Etkin sorgu önerileri için kullanıcı sorgularının görev tabanlı yönetilmesi
Task based management of user queries for effective query suggestions
NURULLAH ATEŞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
- Segmentation informed deep learning algorithms for cardiac MRI reconstruction
Kardiyak MRG rekonstrüksiyonu için bölütleme bilgisiyle desteklenen derin öğrenme algoritmaları
MERT ACAR
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. TOLGA ÇUKUR