Multi-modal learning with generalizable nonlinear dimensionality reduction
Genellenebilir doğrusal olmayan boyut düşürme ile çoklu modalite öğrenme
- Tez No: 555429
- Danışmanlar: DR. ÖĞR. ÜYESİ ELİF VURAL
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 82
Özet
Bilgi teknolojilerindeki önemli ilerlemeler sayesinde insanlar evrenden çeşitli türde veriler elde edebilmektedir. Bu veriler farklı alanlarda farklı öznitelikler barındırabilmektedir. Yaygın yapay öğrenme yöntemleri istenilen çıktılara ulaşmak için verinin farklı özniteliklerinden faydalanmaktadır. Çok sayıda çalışma, çoklu modalite gösterimleri kullanan yapay öğrenme algoritmalarının tekli modalite algoritmalarına göre daha yüksek potansiyele sahip olduğunu göstermiştir. Bu potansiyel modalitelerin uyumluluğu ve birbirlerine göre içerdikleri ilave bilgiden gelmektedir. Bu tezde, veriyi daha düşük boyutlarda gösterebilmek için gözetimli bir çoklu modalite öğrenme algoritması geliştirilmiştir. Genellenebilir, doğrusal olmayan, Lipschitz devamlılığını sağlayan bir interpolasyon ile modalite içi ve modaliteler arası örnekler için aynı sınıf içerisindeki benzerliğin ve sınıflar arası ayrışımın arttırılması hedeflenmiştir. Önerilen gözetimli öğrenme algoritmasının performansını ölçmek için literatürde sıkça kullanılan çoklu modalite veri kümeleri üzerinde çeşitli çoklu modalite yüz tanıma ve görüntü-metin erişim deneyleri gerçekleştirilmiş, önerilen yöntem ile var olan çoklu modalite öğrenme yaklaşımlarına kıyasla oldukça tatmin edici sınıflandırma ve erişim doğruluklarına ulaşılmıştır. Bu deney bulguları, öğrenmede kullanılan amaç fonksiyonuna gömülümün bütün çevresel uzaya ve önceden görülmemiş test verilerine genellenebilirliğinin dahil edilmesinin çoklu modalite gösterim öğreniminde geleceği parlak performans kazanımları sağladığına işaret etmektedir.
Özet (Çeviri)
Thanks to significant advancements in information technologies, people can acquire various types of data from the universe. This data may include multiple features in different domains. Widespread machine learning methods benefit from distinctive features of data to reach desired outputs. Numerous studies demonstrate that machine learning algorithms that make use of multi-modal representations of data have more potential than methods with single modal structure. This potential comes from the mutual agreement of modalities and the existence of additional information. In this thesis, we introduce a multi-modal supervised learning algorithm to represent the data in lower dimensions. We intend to increase within-class similarity and between-class discrimination for intra- and inter-modal exemplars by a generalizable nonlinear interpolator, which satisfies Lipschitz continuity. In order to measure the performance of the proposed supervised learning algorithm, we have conducted several multi-modal face recognition and image-text retrieval experiments on frequently used multi-modal data sets in the literature and achieved quite satisfactory classification and retrieval accuracy in comparison with existing multi-modal learning approaches.These experimental findings suggest that the incorporation of the generalizability of the embedding to the whole ambient space and unseen test data in the learning objective yields promising performance gains in multi-modal representation learning.
Benzer Tezler
- Visual object recognition and detection using deep learning
Derinlikli öğrenme ile görsel nesne tanıma ve tespit etme
BURAK ÇÖREKCİOĞLU
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU
- Cross-domain one-shot object detection by online fine-tuning
Çevrimiçi ince-ayar ile tek-örnekli çapraz-alan nesne tespiti
İREM BEYZA ONUR
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL
- Multi-channels deep convolution neural network for early classification of multivariate time series
Çok kanallı derin dönüşümerken sinir ağıçok değişkenli zaman sınıflandırmasıdiziler
AHMED MUAYAD QADER QADER
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiBilişim Teknolojileri Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AYÇA KURNAZ TÜRKBEN
- Metabolism-oriented multiomics data integration
Farklı omı̇k verı̇lerı̇n metabolı̇zma odaklı entegrasyonu
AYCAN ŞAHİN
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. ALİ ÇAKMAK
- Deep learning approaches for autism spectrum dis-order diagnosis: Ensemble archtectures and multi-modal analysis
Otizm spektrum bozukluğu teşhisi için derin öğrenme yaklaşımları: Topluluk mimarileri ve multimodal analiz
ASSIL JABY
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiYapay Zeka Ana Bilim Dalı
PROF. DR. MD BAHARUL ISLAM