The influence of context structurization on attention dynamics and representational spaces in bert for question answering
Bağlam yapılandırmasının soru cevaplamada bert'in dikkat dinamikleri ve temsil alanları üzerindeki etkisi
- Tez No: 983040
- Danışmanlar: PROF. DR. EMİN ERKAN KORKMAZ
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Dilbilim, Science and Technology, Linguistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Yeditepe Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Bilişsel Bilimler Ana Bilim Dalı (disiplinlerarası)
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
BERT gibi Büyük Dil Modellerinin (LLM'ler) bilgiyi nasıl işlediğini ve temsil ettiğini anlamak, soru cevaplama gibi görevlerde yeteneklerini geliştirmek için önemlidir. Bu tez, bilişsel bilgi düzenleme prensiplerinden esinlenen bir teknik olan bağlam yapılandırmasının, BERT-Temel-Durum (BERT-Base-Cased) modellerindeki dikkat dinamiklerini ve temsil alanlarını nasıl etkilediğini araştırmaktadır. Bu araştırmayı desteklemek amacıyla, orijinal SQuAD bağlamlarına bir yapılandırma yöntemi uygulanarak yeni bir veri seti olan 'Yapılandırılmış Bağlamlı SQuAD' (SQSC) oluşturulmuştur. Araştırma, üç farklı BERT model durumunu karşılaştırmaktadır: önceden eğitilmiş bir vanilya model (BERT-V), yapılandırılmamış SQSC bağlamlarında ince ayarlanmış bir model (BERT-UN) ve yapılandırılmış SQSC bağlamlarında ince ayarlanmış bir model (BERT-ST). Bu çalışma için özel olarak üretilmiş bir dağılım dışı (OOD) veri örneği kullanılarak, deneyler bu modellerin bu OOD girdisinin hem yapılandırılmamış hem de yapılandırılmış versiyonlarını işlerken iç mekanizmalarını analiz etmektedir. Çalışma, farklı modeller ve girdi koşulları arasında dikkat dağılımlarını ve gizli durum temsillerini karşılaştırmak için dağılımsal ayrışma, vektör benzerliği ve karşılaştırmalı temsili geometri ölçümleri gibi bir dizi nicel analiz kullanmaktadır. Bu araştırma, girdi bağlamındaki yapısal değişikliklerin BERT'in içsel işlem sürecini nasıl etkilediğine dair ayrıntılı bilgiler sunmayı amaçlamaktadır. Bulguların, girdi veri yapısı ile model mekanizmaları arasındaki ilişkiyi daha iyi anlamaya katkıda bulunması, SQSC veri setini araştırma topluluğuna yeni bir kamuya açık kaynak olarak sunması ve gelecekte daha anlaşılır ve etkili dil modelleri geliştirme çabalarına katkı sağlaması beklenmektedir.
Özet (Çeviri)
Understanding how Large Language Models (LLMs) like BERT process and represent information is important for improving their abilities in tasks such as question answering. This thesis investigates how context structurization, a technique informed by cognitive principles of information organization, influences attention dynamics and representational spaces within bert-base-cased models. To support this investigation, a new dataset, 'SQuAD with Structurized Contexts' (SQSC), was created by applying a structurization method to original SQuAD contexts. The research compares three BERT model states: a pre-trained vanilla model (BERT-V), a model fine-tuned on unstructured SQSC contexts (BERT-UN), and one fine-tuned on structurized SQSC contexts (BERT-ST). Using an out-of-distribution (OOD) data sample generated for this study, experiments analyze these models' internal mechanisms when processing both unstructured and structurized versions of this OOD input. The study utilizes a range of quantitative analyses to compare attention distributions and hidden state representations across the different models and input conditions, employing measures of distributional divergence, vector similarity, and comparative representational geometry. This research aims to provide detailed insights into how structural modifications to input context affect BERT's internal processing. The findings are expected to contribute a better understanding of the relationship between input data structure and model mechanisms, offer the SQSC dataset as a new public resource, and inform future work in developing more understandable and effective language models.
Benzer Tezler
- Kriminoloji ve Ceza Hukuku boyutuyla“çevreci terörizm”
“Ecoterrorism”in criminology and Criminal Law aspects
ERDEM İZZET KÜLÇÜR
- Sosyal ağlarda odağın ağ ve davranış dinamikleri üzerindeki etkisinin matematiksel bir model yardımıyla ölçülmesi
Proposal of a mathematical model for measuring the impact of focus on network and behaviour dynamics of social networks
KEZİBAN SEÇKİN CODAL
- Şerif Mardin düşüncesi ışığında Türk modernleşmesi açısından sivil toplum ve Osmanlı kaynakları
In terms of the thought of Şerif Mardin, the civil society and its Ottoman sources from the angle of the Turkish modernisation
YILMAZ YILDIRIM
Doktora
Türkçe
2007
SosyolojiMimar Sinan Güzel Sanatlar ÜniversitesiSosyoloji Ana Bilim Dalı
DOÇ. DR. BESİM F. DELLALOĞLU
- Nijer'deki gençlerin siyasi tercihlerini etkileyen faktörler (Zınder örneği)
Factors impacting the political choices of young people in Niger Republic (The case of Zinder)
ELHADJİ BACHİR SANI HAMET
- Enhancement of self-esteem in hierarchical relationships
Hiyerarşik ilişkilerde özgüveni pekiştirme
SHAMSİ MEHİN AKHONDZADEH
Yüksek Lisans
İngilizce
2002
PsikolojiBoğaziçi ÜniversitesiPsikoloji Ana Bilim Dalı
PROF. DR. GÜLER FİŞEK