Large language model based automated translation of natural language to SQL
Büyük dil modeli tabanlı doğal dilden SQL'e otomatik çeviri
- Tez No: 927714
- Danışmanlar: DOÇ. DR. FAİK BORAY TEK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Işık Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 91
Özet
Doğal dilin SQL sorgularına dönüştürülmesi, son yıllarda önemli ilerlemeler kaydetmiş bir alandır, ancak Türkçe gibi kaynakları sınırlı dillerde hala bazı zorluklar bulunmaktadır. Bu tez, bu zorluklara çözüm getirmek amacıyla üç önemli katkı sunmaktadır. İlk katkımız, 10.809 doğal dil cümlesi ve karşılık gelen SQL sorgusundan oluşan, ilk çok alanlı Türkçe Text-to-SQL veri kümesi olan TUR2SQL'in geliştirilmesi ve açık erişimle araştırmacıların kullanımına sunulmasıdır. Bu veri kümesi üzerinde probleme özgü geliştirilmiş bir derin öğrenme yöntemi olan SQLNet ve en başarılı büyük dil modellerinden (BDM) biri olan ChatGPT modellerinin başarımı karşılaştırılmıştır. Sonuçlar ChatGPT'nin üstün performansını göstermektedir. İkinci temel katkımız, İngilizce'den SQL'e çeviri çalışmalarında sıklıkla kullanılan, çok alanlı geniş Spider veri kümesinin çevrilerek en geniş kapsamlı Türkçe Text-to-SQL veri kümesi TURSpider'ın oluşturulması ve yine açık erişimle paylaşılmasıdır. TURSpider, karmaşık sorgular ve farklı zorluk seviyeleri içermektedir. Türkçe Text-to-SQL görevleri için büyük dil modellerinin (BDM) eğitimini ve karşılaştırmasını kolaylaştırmaktadır. Yaptığımız karşılaştırmalı incelemede, ince-ayar uygulanmış Türkçe BDM'lerin, rekabetçi bir performans sergilediğini ve bazı modellerin, sorgu doğruluğu açısından OpenAI modellerini geride bıraktığını göstermektedir. Performansı daha da iyileştirmek amacıyla, CoF (Chain-of-Feedback, Geri Bildirim Zinciri) metodolojisi uygulanmış ve bunun birden fazla modeldeki etkinliği gösterilmiştir. Son olarak, Text-to-SQL görevleri için açık kaynaklı BDM'lerin performansını artırmayı amaçlayan, birden fazla modelin çıktısını birleştiren MoA (Mixture-of-Agents, Temsilcilerin Karışımı) çerçevesini keşfediyoruz. MoA ve CoF tekniklerini birleştirerek geliştirdiğimiz MoAF-SQL yaklaşımımızın, özellikle karmaşık sorgularda önemli iyileştirmeler sağladığı gösterilmiştir. Deneylerimiz, MoAF-SQL'in rekabetçi sonuçlar elde ettiğini ve açık kaynaklı BDM'lerin Text-to-SQL başarımını artırma potansiyelini göstermektedir.
Özet (Çeviri)
The field of Text-to-SQL, which involves converting natural language into SQL queries, has seen significant advancements, but challenges remain, particularly for low-resource languages like Turkish. This thesis introduces three key contributions to address these challenges. Our first contribution is the development and open-access release of TUR2SQL, the first cross-domain Turkish Text-to-SQL dataset, which consists of 10,809 natural language sentences paired with their corresponding SQL queries. We evaluate the performance of SQLNet, a deep learning model specifically designed for this task, and one of the most successful Large Language Models (LLMs), ChatGPT, on this dataset. The results demonstrate the superior performance of ChatGPT. The second major contribution is the construction and publicly available release of TURSpider, the most extensive Turkish Text-to-SQL dataset. TURSpider is built by translating the widely used cross-domain Spider dataset from English to Turkish. This dataset includes complex queries with varying difficulty levels, facilitating the training and comparison of large language models for Turkish Text-to-SQL tasks. Our comparative analysis shows that fine-tuned Turkish LLMs achieve competitive performance, with some models surpassing OpenAI models in query accuracy. To further enhance performance, we apply the Chain-of-Feedback (CoF) methodology, demonstrating its effectiveness across multiple models. Finally, we explore the Mixture-of-Agents (MoA) framework, which combines outputs from multiple models to improve the performance of open-source LLMs for Text-to-SQL tasks. By integrating MoA with the CoF technique, we propose MoAF-SQL, an approach that significantly improves performance, particularly on complex queries. Our experiments show that MoAF-SQL achieves competitive results, highlighting its potential to enhance the Text-to-SQL capabilities of open-source LLMs.
Benzer Tezler
- Otomatik duygu sözlüğü geliştirilmesi ve haberlerin duygu analizi
Automated sentiment lexicon generation and sentiment analysis of news
FATİH SAĞLAM
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FUAT AKAL
PROF. DR. HAYRİ SEVER
- Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models
Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma
NEŞE GÜNEŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT
- Doğal dil ile SQL ve görselleştirme koduna dönüşümde büyük dil modellerinin karşılaştırmalı analizi
Comparative analysis of large language models for natural language to SQL and visualization code generation
BAYKAL MEHMET UÇAR
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiHesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
DOÇ. DR. SEFER BADAY
- Çeviri-tabanlı açımlama veri setiyle Türkçe büyük dil modelinin sınanması
Testing a Turkish large language model with a translation-based paraphrasing dataset
GÖRKEM TEKER
Yüksek Lisans
Türkçe
2025
DilbilimDokuz Eylül ÜniversitesiGenel Dilbilim Ana Bilim Dalı
PROF. DR. ÖZGÜN KOŞANER
- Türkçe sözcük anlam belirsizliği giderme
Word sense disambiguation for Turkish
BAHAR İLGEN
Doktora
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. EŞREF ADALI
YRD. DOÇ. DR. AHMET CÜNEYD TANTUĞ