Improving representation learning in graph neural networks
Çizge sinir ağlarında temsil öğrenimini geliştirmek
- Tez No: 972072
- Danışmanlar: DR. ÖĞR. ÜYESİ İNCİ MELİHA BAYTAŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Yapay zeka, Artificial intelligence
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Gerçek hayattaki veriler birbirinden ayrı nesnelerden ziyade birbirine bağlı varlıklardan oluşur. Geleneksel sinir ağları, derin öğrenmeden çok fazla fayda sağlayan sosyal ağlar, biyoinformatik ve fiziksel sistemler gibi alanlarda bulunan düzensiz yapıları işlemekte zorlanırlar. Mesaj iletimi paradigmasını kullanan Çizge Sinir Ağları (GNN), farklı yapıdaki topolojiler içeren ilişkisel verileri işlemek için esnek ve etkili bir çerçeve olarak ortaya çıkmıştır. Ancak, GNN'lerin verimliliği, temsil öğrenmede yaşanan ve görev performansını oldukça etkileyen zorluklarla birlikte gelir. Bu tezde çizge modellerinde ortaya çıkan iki büyük zorluğu ele alıyoruz: aşırı-yumuşatma ve aşırı-sıkıştırma. Mesaj iletim mekanizması, tasarımı gereği belirli bir adım sayısından sonra neredeyse özdeş temsiller üretme eğilimindedir, bu da aşırı-yumuşatma etkisine neden olur. Aşırı-yumuşatmayı hafifletmek için uyarlanabilir, kanal bazlı bir mesaj iletim yaklaşımı öneriyoruz. Önerilen model, Kanal-Dikkatli GNN (CHAT-GNN), komşu düğümlere ve özellik kanallarına nasıl dikkat edeceğini öğrenir. Böylece, mesaj iletimi sırasında düğümler arasında daha çeşitli bilgiler aktarılabilir. Ayrıca, uzak düğümler komşu düğümler arasındaki mesaj iletimi yoluyla iletişim kurduğundan, çizgedeki toplulukları bağlayan düğümlerin düşük boyutlu özellik uzayında büyük miktarda bilgi depolaması gerekir, bu da aşırı-sıkıştırma etkisine neden olur. Bu tezde merkezi düğümlerin özellik uzayı boyutluluğunu artırırken, aynı zamanda merkezi bölgeler üzerinden geçen yol sayısını da artıran sanal düğümler eklemeyi öneriyoruz. Paylaşımlı sanal düğüm gömme yaklaşımımız, GNN'in algı alanından daha uzun menzilli bir iletişim sağlar. Her iki yaklaşımımızı da çeşitli problemler üzerindeki performansları açısından literatürdeki en başarılı yöntemlerle karşılaştırıyoruz. Ek olarak, CHAT-GNN ve yerel sanal düğümlerin verimliliğini doğrulamak için ayrıntılı deneyler gerçekleştiriyoruz.
Özet (Çeviri)
Real-world data often comprises interconnected entities rather than isolated objects. Traditional neural networks struggle to process irregular structures inherent in prominent domains such as social networks, bioinformatics, and physical systems that have extensively benefited from deep learning. Graph neural networks (GNNs) following the message-passing paradigm have emerged as a versatile and effective framework for processing relational data with arbitrary structural characteristics. However, the efficiency of GNNs comes with challenges in representation learning that impact downstream task performance. This thesis addresses two major challenges occurring in deep GNNs: over-smoothing and over-squashing. The message-passing mechanism, by design, is prone to producing almost identical representations after a certain number of steps, causing an over-smoothing effect. We propose an adaptive channel-wise message-passing approach to alleviate over-smoothing. The proposed model, Channel-Attentive GNN (CHAT-GNN), learns how to attend to neighboring nodes and their feature channels. Thus, more diverse information can be transferred between nodes during message-passing. Since information between distant nodes is transmitted through sequential message-passing between adjacent nodes, community-connecting nodes must compress substantial information into low-dimensional feature spaces, resulting in the over-squashing effect. We propose incorporating local virtual nodes that increase the feature capacity of central nodes and the number of paths through central regions. Moreover, our shared virtual node embedding approach enables communication with a range greater than the receptive field of GNNs. We compare both approaches with state-of-the-art baselines in terms of downstream task performance and conduct detailed experiments to validate the effectiveness of CHAT-GNN and local virtual nodes.
Benzer Tezler
- Addressing encoder-only transformer limitations with graph neural networks for text classification
Yalnızca kodlayıcı kullanan dönüştürücülerin metin sınıflandırmasındaki sınırlamalarının çizge sinir ağları ile aşılması
ARDA CAN ARAS
Yüksek Lisans
İngilizce
2025
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. AYKUT KOÇ
- Real-time human manipulation action recognition with a factorized graph sequence encoder
Ayrıştırılmış çizge dizi kodlayıcısı ile insan nesne etkileşimlerinin gerçek zamanlı olarak tanınması
ENES ERDOĞAN
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
DOÇ. DR. EREN ERDAL AKSOY
- Etkin sorgu önerileri için kullanıcı sorgularının görev tabanlı yönetilmesi
Task based management of user queries for effective query suggestions
NURULLAH ATEŞ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
- Araç rotalama probleminde GPS verilerinin yapay zekâ algoritmaları ile analizi
Analysis of GPS data using artificial intelligence algorithms in vehicle routing problem
EBRU ERDEM
Doktora
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAtatürk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. TOLGA AYDIN
PROF. DR. BURAK ERKAYMAN
- Investigation of embedding methods on gnn basedrecommender models
Çizge sinir ağı temelli öneri sistemleriüzerinde kullanılan gömme tipinin etkisinin araştırılması
MUSTAFA AKER
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YUSUF YASLAN