Multi-modal learning with generalizable nonlinear dimensionality reduction
Genellenebilir doğrusal olmayan boyut düşürme ile çoklu modalite öğrenme
- Tez No: 555429
- Danışmanlar: DR. ÖĞR. ÜYESİ ELİF VURAL
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bilgi teknolojilerindeki önemli ilerlemeler sayesinde insanlar evrenden çeşitli türde veriler elde edebilmektedir. Bu veriler farklı alanlarda farklı öznitelikler barındırabilmektedir. Yaygın yapay öğrenme yöntemleri istenilen çıktılara ulaşmak için verinin farklı özniteliklerinden faydalanmaktadır. Çok sayıda çalışma, çoklu modalite gösterimleri kullanan yapay öğrenme algoritmalarının tekli modalite algoritmalarına göre daha yüksek potansiyele sahip olduğunu göstermiştir. Bu potansiyel modalitelerin uyumluluğu ve birbirlerine göre içerdikleri ilave bilgiden gelmektedir. Bu tezde, veriyi daha düşük boyutlarda gösterebilmek için gözetimli bir çoklu modalite öğrenme algoritması geliştirilmiştir. Genellenebilir, doğrusal olmayan, Lipschitz devamlılığını sağlayan bir interpolasyon ile modalite içi ve modaliteler arası örnekler için aynı sınıf içerisindeki benzerliğin ve sınıflar arası ayrışımın arttırılması hedeflenmiştir. Önerilen gözetimli öğrenme algoritmasının performansını ölçmek için literatürde sıkça kullanılan çoklu modalite veri kümeleri üzerinde çeşitli çoklu modalite yüz tanıma ve görüntü-metin erişim deneyleri gerçekleştirilmiş, önerilen yöntem ile var olan çoklu modalite öğrenme yaklaşımlarına kıyasla oldukça tatmin edici sınıflandırma ve erişim doğruluklarına ulaşılmıştır. Bu deney bulguları, öğrenmede kullanılan amaç fonksiyonuna gömülümün bütün çevresel uzaya ve önceden görülmemiş test verilerine genellenebilirliğinin dahil edilmesinin çoklu modalite gösterim öğreniminde geleceği parlak performans kazanımları sağladığına işaret etmektedir.
Özet (Çeviri)
Thanks to significant advancements in information technologies, people can acquire various types of data from the universe. This data may include multiple features in different domains. Widespread machine learning methods benefit from distinctive features of data to reach desired outputs. Numerous studies demonstrate that machine learning algorithms that make use of multi-modal representations of data have more potential than methods with single modal structure. This potential comes from the mutual agreement of modalities and the existence of additional information. In this thesis, we introduce a multi-modal supervised learning algorithm to represent the data in lower dimensions. We intend to increase within-class similarity and between-class discrimination for intra- and inter-modal exemplars by a generalizable nonlinear interpolator, which satisfies Lipschitz continuity. In order to measure the performance of the proposed supervised learning algorithm, we have conducted several multi-modal face recognition and image-text retrieval experiments on frequently used multi-modal data sets in the literature and achieved quite satisfactory classification and retrieval accuracy in comparison with existing multi-modal learning approaches.These experimental findings suggest that the incorporation of the generalizability of the embedding to the whole ambient space and unseen test data in the learning objective yields promising performance gains in multi-modal representation learning.
Benzer Tezler
- Vision transformer-based physics informed CFD prediction of axial fans with self-supervised contrastive learning for enhanced geometric sensitivity
Eksenel fanlarda geometrik farklılıkların yakalanmasına yönelik kontrastif öğrenme destekli, fizik bilinçli vısıon transformer tabanlı CFD tahmini
MEHMET FATİH REYHAN
Yüksek Lisans
İngilizce
2025
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DOÇ. DR. BAHA ZAFER
- Çift optik elemanlı yoğunlaştırılmış fotovoltaik sistemlerin akım-gerilim davranışının tahmini için makine öğrenmesi ile yaklaşık model geliştirilmesi
Development of a surrogate model using machine learning for current-voltage behavior of dual optical element concentrated photovoltaic system
MAHIR JAFAROV
Yüksek Lisans
Türkçe
2025
Makine MühendisliğiBursa Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DOÇ. DR. OSMAN TURAN
- Metabolism-oriented multiomics data integration
Farklı omı̇k verı̇lerı̇n metabolı̇zma odaklı entegrasyonu
AYCAN ŞAHİN
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. ALİ ÇAKMAK
- Balancing mixed adversarial perturbations: Towards robust reinforcement learning
Karma çekişmeli bozulmaları dengeleme: Gürbüz pekiştirmeli öğrenmeye doğru
MUSTAFA ERDEM
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- Yapısal sağlık izleme uygulamaları ıçın dikkat mekanizmalı ve gradyan cezalı stargan modelinin (at-stargan-gp) geliştirilmesi ve uygulanması
Development and application of an attention-enhanced and gradient-penalized stargan model (at-stargan-gp) for structural health monitoring applications
MUHAMMED SERDAR AVCI
Doktora
Türkçe
2025
İnşaat MühendisliğiEge Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. EMRE ERCAN