Knowledge graph augmented multi-hop question answering using large language models
Büyük dil modelleri kullanılarak bilgi grafiği destekli çok adımlı soru cevaplama
- Tez No: 895546
- Danışmanlar: PROF. DR. ALTAN KOÇYİĞİT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Bilgi grafikleri, Doğal dil işleme, Soru yanıtlama sistemleri, Information graphic, Natural language processing, Question answering systems
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Enformatik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, küçük ve orta büyüklükteki büyük dil modellerinin çok adımlı soru yanıtlamadaki kullanımını incelemektedir. Gerçek dünya uygulamalarında hesaplama kaynakları ve gecikme önemli kısıtlamalar sunduğundan, daha küçük dil modelleri genellikle tercih edilir. Ancak, bu daha küçük modeller genellikle GPT-4 gibi daha büyük muadillerinin sahip olduğu geniş parametrik bilgi ve ileri düzeydeki akıl yürütme yeteneklerinden yoksundur. Bu araştırma, bu sınırlamaları telafi etmek için yapılandırılmış bir bilgi ve ilişkiler temsili sunan bilgi grafikleri kullanımı başta olmak üzere çeşitli artırma stratejilerini araştırmaktadır. Bu çalışma şu konuları incelemektedir: bilgi grafiklerinin büyük dil modellerinin çok adımlı soru yanıtlama yeteneklerini iyileştirip iyileştirmediği, varlık-ilişki üçlülerinin metin içeriğiyle bütünleştirilmesinin etkisi ve görevle ilgili geri bildirimle denetimli ince ayar veya pekiştirmeli öğrenme gibi uyarlama yöntemlerinin ortak varlık-ilişki çıkarım performansını iyileştirip iyileştirmediği. Çalışma, ilgili varlık-ilişkilerin soruları yanıtlamadan önce çıkarılmasını kolaylaştıran ve MuSiQue-Ans veri seti üzerinde daha az hesaplama gereksinimi ile performansı artıran, Bağlantı-Kur-Varlıklarla (CTE) adlı yeni bir yönlendirme tekniği sunmaktadır. Ek olarak, harici bir bilgi kaynağı olarak önceden oluşturulmuş bir bilgi grafiğinin kullanılması, temel sistemlere benzer sonuçlar göstermektedir. Genel olarak, bu tez, görece küçük dil modellerin yapılandırılmış bilgi entegrasyonu ve gelişmiş yönlendirme teknikleri ile geliştirilmiş soru yanıtlama performansına nasıl ulaşabileceğini göstererek alana katkıda bulunmaktadır.
Özet (Çeviri)
This thesis explores the use of small to medium-sized large language models (LLMs) for multi-hop question answering. As computational resources and latency present significant constraints in real-world applications, smaller language models (LLMs) are often utilized. However, these smaller models generally lack the extensive parametric knowledge and advanced reasoning capabilities possessed by their larger counterparts, such as GPT-4. This research investigates various augmentation strategies, notably the use of knowledge graphs, which provide a structured representation of facts and relationships to compensate for these limitations. This study investigates: whether knowledge graphs improve multi-hop question-answering capabilities of LLMs, the impact of integrating entity-relation triplets with textual content, and whether adaptation methods such as supervised fine-tuning or reinforcement learning with task-specific feedback improve the joint entity-relation extraction performance. The study introduces a novel prompting technique, Connect-the-Entities (CTE), which facilitates the extraction of relevant entity-relations before answering questions, thereby improving performance on the MuSiQue-Ans dataset with reduced computational demand. Additionally, the use of a pre-built knowledge graph as an external knowledge source demonstrates comparable results to baseline systems. Overall, this thesis contributes to the field by demonstrating how smaller LLMs can achieve enhanced question-answering performance through structured knowledge integration and advanced prompting techniques.
Benzer Tezler
- Predicting possible drug repositioning using computational methods
Hesaplama yöntemleri kullanarak olası ilaç yeniden konumlandırmasını tahmin etme
ESLAM AHMED ALI ALI ABUSHAABAN
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Medipol ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
PROF. DR. REDA ALHAJJ
- Büyük dil modellerinde çoklu ajan iş birliği ile dijital dokümanlardan bilgi çıkarım mimarisi geliştirilmesi
Development of an information extraction architecture from digital documents using multi-agent collaboration in large language models
MUHAMMET CÜNEYD KURTBAŞ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKocaeli ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET SAYAR
- Exploring fusion models in computer vision for medical image computing
Başlık çevirisi yok
DUYGU SARIKAYA
Doktora
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolState Unıversıty Of New York At BuffaloDr. JASON J. CORSO
- Türkçe finans alanına özgü bilgi grafı inşası için çok aşamalı bilgi çıkarımı ve denetlenebilir operasyon planlama
Multi-stage information extraction and auditable operation planning for constructing a turkish finance domain-specific knowledge graph
ABDULLAH RAUF ŞİMŞEK
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
DOÇ. DR. AHMET CÜNEYD TANTUĞ
- LLM-assisted onboarding via retrieval-augmented interactive computational notebooks
Büyük dil modelleri ile desteklenen etkileşimli hesaplama defterlerinde projeye uyum süreci
BERKE ODACI
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SELİM SAFFET BALCISOY