Resolution of Turkish scalar implicatures by large language models
Türkçedeki skaler sezdirimlerin büyük dil modelleri tarafından çözümlenmesi
- Tez No: 888863
- Danışmanlar: DR. ÖĞR. ÜYESİ ÜMİT ATLAMAZ
- Tez Türü: Yüksek Lisans
- Konular: Dilbilim, Linguistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Dilbilim Ana Bilim Dalı
- Bilim Dalı: Dil Bilimi Bilim Dalı
- Sayfa Sayısı: 149
Özet
Skaler sezdirimler, bir zayıf terim ve bir güçlü terimden oluşan bir skaler çifti için zayıf terim kullanımının güçlü terimin doğruluğunun reddini ifade ettiği edimsel çıkarımlardır. Bu çalışmada büyük dil modellerinin (LLM) skaler sezdirim çözümlenmesindeki yetenekleri araştırılmaktadır. Çalışmanın bir parçası olarak Doğal Dil Çıkarımı'ndaki (NLI) geleneksel gerektirim-nötr-çelişki sınıflarına sezdirim sınıfını ekleyerek dört sınıflı bir sınıflandırma sunan Türkçe NLI veri seti ImplicaTR geliştirilmiştir. Beş farklı dilbilimsel kategori içeren toplamda 2.340 cümle kümesinden oluşan ImplicaTR 20.340 veri satırına sahip olup bu çalışmada bu veri seti üzerinde iki deney yapılmıştır. Deney 1'de BERT modelleri ve Gemma, Llama-2 ve Mistral gibi üretici modellerin skaler sezdirim muhakemeleri incelenmiş ve test veri seti üzerindeki 98% doğruluk oranı ile bu modellerin edimsel muhakeme yapabildiği gösterilmiştir. Bu deney sonucunda daha detaylı analiz yapabilen bir NLI modeli elde edilmiştir. Deney 2'de modellerin gerektirim ve sezdirim yeteneklerine etki eden faktörleri ortaya çıkarmaya yönelik olarak ablasyon deneyi içerisinde dilbilimsel tahkikat yapılmıştır. Deney sonuçlarına göre tekil skaler terimlerin derlemdeki sıklıklarının dil modelinin edimsel çıkarım çözümlemesiyle pozitif korelasyon gösterdiği görülmüştür. Dilbilimsel açıdan bu çalışma, skaler muhakemenin sadece edimsel veya sözlüksel bir süreç olmadığını ve iki mekanizmanın da sezdirim çıkarımında rol oynadığını ortaya koymuştur.
Özet (Çeviri)
As for a scalar pair consisting of a weaker term and a stronger term, scalar implicatures are the pragmatic inferences drawn when the use of the weaker term denotes the negation of the stronger term. This study investigates the pragmatic capabilities of Large Language Models (LLM) in the resolution of scalar implicatures. As part of the study, a Natural Language Inference (NLI) dataset in Turkish, ImplicaTR, was developed, which is a four-class NLI dataset that enriches the conventional entailment-neutral-contradiction classification with a new class, implicature. With a total of 2,340 sets of sentences spanning five different linguistics categories, ImplicaTR has a size of 20,340 rows. Two experiments were conducted on ImplicaTR. In Experiment 1, various BERT models and generative models such as Gemma, Llama-2, and Mistral were inspected on pragmatic reasoning, and we found that LLMs can reason about scalar inferences with an accuracy over 98% on test dataset. As a result, we obtained an NLI model that does more fine-grained analysis. In Experiment 2, we carried out a linguistic inquiry within an ablation study to reveal the factors influencing the entailment and implicature resolution of the models. Our findings showed that the frequency of individual scalar items is positively correlated with the model's ability to resolve the pragmatic inferences. From the linguistic perspective, our study demonstrated that scalar reasoning is not solely a pragmatic process nor a lexical one; both mechanisms seem to play a role in implicature inferencing.
Benzer Tezler
- Local signal decomposition based methods for the calculation of three-dimensional scalar optical diffraction field due to a field given on a curved surface
Eğri bir yüzey üzerinde verilen alana karşılık gelen üç boyutlu skalar optik alanın hesaplanması için lokal sinyal ayrıştırma tabanlı yöntemler
ERDEM ŞAHİN
Doktora
İngilizce
2013
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. LEVENT ONURAL
- Novel methodology for construction and decoding of color data codes
Renk veri kodlarının oluşturulması ve çözümlenmesi için yeni metodoloji
REFİK TANJU SİRMEN
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BURAK BERK ÜSTÜNDAĞ
- A programmable CMOS analog vector quantizer chin
Programlanabilir CMOS analog vektör kuantalayıcı tümdevresi
DEVRİM YILMAZ AKSIN
Yüksek Lisans
İngilizce
1999
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF. DR. UĞUR ÇİLİNGİROĞLU
- Kaotik davranış mekanizmaları ve aşırı inelastik saçılmada ölçeklenme
Mechanisms of chaotic behaviour and scaling in deep inelastic scattering
F.GÜLAY ACAR (FIRAT)
Yüksek Lisans
Türkçe
1995
Fizik ve Fizik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. AVADİS HACINLIYAN
- Comparison of high resolution method for burgers equation
Yüksek çözünürlük yöntemlerinin burgers denklemi üzerinde karşılaştırılması
VELİ ÇOLAK
Yüksek Lisans
İngilizce
2014
MatematikYıldız Teknik ÜniversitesiMatematik Ana Bilim Dalı
DOÇ. DR. SAMET YÜCEL KADIOĞLU