Graph neural networks for interpersonal relationship recognition in images
Görsellerde kişilerarası ilişki tanıma için grafik sinir ağları
- Tez No: 1008664
- Danışmanlar: PROF. DR. NAFİZ ARICA
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, görüntülerden kişilerarası ilişkilerin otomatik olarak tanınması problemine odaklanmaktadır. Kişilerarası ilişki tanıma, bilgisayarlı görü ve sosyal sinyal işleme alanlarında önemli bir araştırma konusu olup; sosyal medya analizi, insan odaklı yapay zekâ sistemleri ve içerik anlama gibi birçok uygulama alanına sahiptir. Ancak mevcut çalışmaların büyük çoğunluğu görsel ipuçlarını sınırlı bir şekilde ele almakta ya da farklı bilgi kaynakları arasındaki etkileşimi yeterince modelleyememektedir. Bu tez kapsamında, kişilerarası ilişki tanıma problemini çok seviyeli ve yapılandırılmış bir bakış açısıyla ele alan grafik tabanlı yöntemler önerilmektedir. Bu doğrultuda, hem ikili (pairwise) hem de bağlamsal (contextual) özellikler çıkarılmakta ve grafik düğümleri olarak temsil edilmektedir. Düğümler arasındaki etkileşimler, grafiksel dikkat mekanizmaları aracılığıyla öğrenilmektedir. vii Tez üç ana yöntemi ele almaktadır. İlk olarak, yerel, bağlamsal ve anlamsal ipuçları, özellik tabanlı modüler bir Grafik Dikkat Ağı (Graph Attention Network – GAT) mimarisi kullanılarak ayrı modüllerde modellenmekte ve çoklu özellik füzyonu gerçekleştirilmektedir. İkinci olarak, kişilerarası ilişkilerin bir kenar sınıflandırma problemi olarak ele alındığı; Bağlamsal Destek Düğümleri (Contextual Support Nodes) ve Kapılı Grafik Sinir Ağlarını (Gated Graph Neural Networks – GGNN) içeren bir yapı önerilmektedir. Üçüncü olarak ise, heterojen grafik yapıları üzerinde düğüm sınıflandırmasına dayalı bir yaklaşım geliştirilmekte ve farklı özellik türleri arasındaki ilişkiler Heterojen Dikkat Ağı (Heterogeneous Attention Network – HAN) kullanılarak modellenmektedir. Deneysel sonuçlar, grafik tabanlı yapılandırılmış temsillerin geleneksel makine öğrenmesi yöntemlerine ve derin öğrenme tabanlı yaklaşımlara kıyasla daha başarılı ve yorumlanabilir sonuçlar ürettiğini göstermektedir. Ayrıca, özellik gruplarının katkıları ve dikkat mekanizmalarının rolü, ayrıntılı ablation çalışmaları ile analiz edilmiştir.
Özet (Çeviri)
This thesis focuses on the problem of automatically recognizing interpersonal relationships from images. Interpersonal relationship recognition is a significant research topic in the fields of computer vision and social signal processing, and has numerous application areas such as social media analysis, human-centered artificial intelligence systems, and content understanding. However, the vast majority of current studies address visual cues in a limited manner or fail to adequately model the interaction between different information sources. Within the scope of this thesis, graph-based methods are proposed that address the interpersonal relationship recognition problem from a multi-level and structured perspective. In this direction, both pairwise and contextual features are extracted and represented as graph nodes. The interactions between nodes are learned through graphical attention mechanisms. v The thesis addresses three main methods. First, local, contextual, and semantic cues are modeled in separate modules using a feature-based modular Graph Attention Network (GAT) architecture, and multi-feature fusion is performed. Secondly, a structure is proposed that includes Contextual Support Nodes and Gated Graph Neural Networks (GGNN), where interpersonal relationships are treated as an edge classification problem. Thirdly, an approach based on node classification on heterogeneous graph structures is developed, and the relationships between different feature types are modeled using a Heterogeneous Attention Network (HAN). Experimental results show that graph-based structured representations produce more successful and interpretable results compared to traditional machine learning methods and deep learning-based approaches. Additionally, the contributions of feature groups and the role of attention mechanisms have been analyzed with detailed ablation studies.
Benzer Tezler
- Graph neural networks-based primal heuristics for combinatorial optimization
Kombinatoryal optimizasyon için grafik sinir ağları tabanlı birincil sezgisel yöntem
FURKAN CANTÜRK
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin ÜniversitesiYapay Zeka Ana Bilim Dalı
DR. ÖĞR. ÜYESİ REYHAN AYDOĞAN
PROF. DR. OKAN ÖRSAN ÖZENER
- Graph neural networks as surrogate models for structural analysis: A study on buckling behavior
Yapısal analiz için vekil modeller olarak grafik sinir ağları: Burkulma davranışı üzerine bir çalışma
ÖMER KURT
Yüksek Lisans
İngilizce
2025
Makine MühendisliğiOrta Doğu Teknik ÜniversitesiMakine Mühendisliği Bilim Dalı
DOÇ. DR. ULAŞ YAMAN
- Quantum graph neural networks for time propagation in condensed matter
Yoğun madde içinde zaman yayılımı için kuantum grafik sinir ağları
KAAN YURTSEVEN
Yüksek Lisans
İngilizce
2024
Fizik ve Fizik MühendisliğiOrta Doğu Teknik ÜniversitesiFizik Ana Bilim Dalı
DR. ÖĞR. ÜYESİ OSMAN BARIŞ MALCIOĞLU
- OPTIMIZING GRAPH NEURAL NETWORKS FOR BRAIN TUMOR DETECTION USING MODEL PRUNING TECHNIQUES
BEYİN TÜMÖRÜ TESPİTİ İÇİN ÇİZGE SİNİR AĞLARININ MODEL BUDAMA TEKNİKLERİ KULLANILARAK OPTİMİZE EDİLMESI
ABDUSSAMAT SAIDBURKHAN
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DUYGU ÇAKIR YENİDOĞAN
- Spatiotemporal graph convolutional neural networks for motor imagery EEG classification
Motor imgeleme EEG sınıflandırmasında uzay-zaman çizge evrişimli sinir ağları
AHMED MOHAMED MOHAMED MOHAMED ALRAMLY
Yüksek Lisans
İngilizce
2023
Bilim ve TeknolojiBoğaziçi ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET ADEMOĞLU