Knowledge graph augmented multi-hop question answering using large language models
Büyük dil modelleri kullanılarak bilgi grafiği destekli çok adımlı soru cevaplama
- Tez No: 895546
- Danışmanlar: PROF. DR. ALTAN KOÇYİĞİT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Enformatik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 97
Özet
Bu tez, küçük ve orta büyüklükteki büyük dil modellerinin çok adımlı soru yanıtlamadaki kullanımını incelemektedir. Gerçek dünya uygulamalarında hesaplama kaynakları ve gecikme önemli kısıtlamalar sunduğundan, daha küçük dil modelleri genellikle tercih edilir. Ancak, bu daha küçük modeller genellikle GPT-4 gibi daha büyük muadillerinin sahip olduğu geniş parametrik bilgi ve ileri düzeydeki akıl yürütme yeteneklerinden yoksundur. Bu araştırma, bu sınırlamaları telafi etmek için yapılandırılmış bir bilgi ve ilişkiler temsili sunan bilgi grafikleri kullanımı başta olmak üzere çeşitli artırma stratejilerini araştırmaktadır. Bu çalışma şu konuları incelemektedir: bilgi grafiklerinin büyük dil modellerinin çok adımlı soru yanıtlama yeteneklerini iyileştirip iyileştirmediği, varlık-ilişki üçlülerinin metin içeriğiyle bütünleştirilmesinin etkisi ve görevle ilgili geri bildirimle denetimli ince ayar veya pekiştirmeli öğrenme gibi uyarlama yöntemlerinin ortak varlık-ilişki çıkarım performansını iyileştirip iyileştirmediği. Çalışma, ilgili varlık-ilişkilerin soruları yanıtlamadan önce çıkarılmasını kolaylaştıran ve MuSiQue-Ans veri seti üzerinde daha az hesaplama gereksinimi ile performansı artıran, Bağlantı-Kur-Varlıklarla (CTE) adlı yeni bir yönlendirme tekniği sunmaktadır. Ek olarak, harici bir bilgi kaynağı olarak önceden oluşturulmuş bir bilgi grafiğinin kullanılması, temel sistemlere benzer sonuçlar göstermektedir. Genel olarak, bu tez, görece küçük dil modellerin yapılandırılmış bilgi entegrasyonu ve gelişmiş yönlendirme teknikleri ile geliştirilmiş soru yanıtlama performansına nasıl ulaşabileceğini göstererek alana katkıda bulunmaktadır.
Özet (Çeviri)
This thesis explores the use of small to medium-sized large language models (LLMs) for multi-hop question answering. As computational resources and latency present significant constraints in real-world applications, smaller language models (LLMs) are often utilized. However, these smaller models generally lack the extensive parametric knowledge and advanced reasoning capabilities possessed by their larger counterparts, such as GPT-4. This research investigates various augmentation strategies, notably the use of knowledge graphs, which provide a structured representation of facts and relationships to compensate for these limitations. This study investigates: whether knowledge graphs improve multi-hop question-answering capabilities of LLMs, the impact of integrating entity-relation triplets with textual content, and whether adaptation methods such as supervised fine-tuning or reinforcement learning with task-specific feedback improve the joint entity-relation extraction performance. The study introduces a novel prompting technique, Connect-the-Entities (CTE), which facilitates the extraction of relevant entity-relations before answering questions, thereby improving performance on the MuSiQue-Ans dataset with reduced computational demand. Additionally, the use of a pre-built knowledge graph as an external knowledge source demonstrates comparable results to baseline systems. Overall, this thesis contributes to the field by demonstrating how smaller LLMs can achieve enhanced question-answering performance through structured knowledge integration and advanced prompting techniques.
Benzer Tezler
- Exploring fusion models in computer vision for medical image computing
Başlık çevirisi yok
DUYGU SARIKAYA
Doktora
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolState University of New York at BuffaloDr. JASON J. CORSO
- Kalıntılarla genişletilmiş yeni bir panel birim kök test önerisi: RALS-CIPS testi
Proposal of a new panel unit root test augmented with residuals: RALS-CIPS test
GÖKHAN KONAT
- Knowledge graph representation of electronic health records for clinical predictions
Elektronik sağlık kayıtlarını temel alan bilge çizge temsillerinin klinik tahminlerde kullanımı
EGE ALPAY
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSabancı ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖZNUR TAŞTAN OKAN
- Derin öğrenme yöntemleri ile Türkçede bağlılık ayrıştırma
Dependency parsing with deep learning methods in Turkish
MÜCAHİT ALTINTAŞ
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET CÜNEYD TANTUĞ