Metadata-guided generation of domain-specific peer reviews with LLMS
Alana özgü hakem yorumlarının büyük dil modelleri ile üstveri rehberliğinde üretilmesi
- Tez No: 972054
- Danışmanlar: PROF. DR. TUĞBA TAŞKAYA TEMİZEL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Dilbilim, Computer Engineering and Computer Science and Control, Science and Technology, Linguistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Bilişim Sistemleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Büyük Dil Modelleri (LLM'ler) akademik değerlendirmeyi desteklemek için giderek daha fazla kullanılmaktadır, ancak genellikle titiz bir hakemlik süreci için gerekli olan alan-özel ölçütleri yakalamakta zorlanırlar. Mevcut hakem yönergeleri ve araştırma kontrol listeleri, çoğaltılabilirlik, etik değerlendirmeler, sınırlamaların belirtilmesi ve toplumsal etki gibi genel konulara değinse de, genellikle bir makalenin metodolojisine, veri kümesine veya değerlen- dirme stratejisine göre değişen disipline özgü ölçütleri göz ardı ederler. Bu tez, OpenReview sistemindeki önceki değerlendirmelerden alan-özel inceleme sorularını otomatik olarak çıka- ran ve bunları metodoloji, veri kümesi ve değerlendirme metrikleri gibi makale içeriğinden türetilmiş yapılandırılmış üstveriler aracılığıyla yeni başvurularla hizalayan bir çerçeve sunar. Sonuçlar, önerilen çerçevenin üretilen incelemelerin özgüllüğünü ve bağlamsal uygunluğunu artırdığını göstermektedir. Temel modellerle karşılaştırıldığında, genel performans ölçütleri benzer olsa da incelemelerin içeriği ve odağı üzerinde daha hassas kontrol sağlar; çünkü ince- lemeleri açık bir şekilde üstveri ve geçmiş değerlendirme örüntüleriyle temellendirir. Sistem, izlenebilirliği artırır, uydurulmuş içerikleri azaltır ve otomatikleştirilmiş hakemli değerlendir- menin yorumlanabilirliğini artırır.
Özet (Çeviri)
Large Language Models (LLMs) are increasingly used to support academic evaluation, yet they often struggle to capture the domain-specific criteria essential for rigorous peer review. While existing reviewer guidelines and research checklists address general concerns such as reproducibility, ethical considerations, acknowledgment of limitations, and societal impact, they often neglect discipline-specific criteria that vary with a paper's methodology, or evalua- tion strategy. This thesis introduces a framework that automatically extracts domain-specific review questions from past evaluations in the OpenReview system and aligns them with new submissions using structured metadata derived from paper content, including methodology, datasets, and evaluation metrics. The results show that the proposed framework improves the specificity and contextual relevance of generated reviews. Compared to baseline models, it allows more precise control over the content and focus of generated reviews by explicitly grounding them in metadata and past evaluation patterns, even when overall performance met- rics are similar. The system improves traceability, reduces hallucinated content, and increases the interpretability of automated peer review.
Benzer Tezler
- Bilgi yönetimi ve örgütsel öğrenme kesişiminde öğrenilen dersler sisteminin yapım projelerinde öğrenme istasyonları modeliyle yeniden kurgulanması
Reconceptualizing the lessons learned system in construcion projects through the learning stations model at the intersection of knowledge management and organizational learning
HALİM EMRE OKULLU
- Bütünleşik kent bilgi sistemlerine yönelik ulusal konumsal 3 boyutlu veri standartlarının geliştirilmesi
Development of national spatial 3 dimensional geo-data standards for integrated urban information systems
SERPİL ATEŞ AYDAR
Doktora
Türkçe
2023
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. TAHSİN YOMRALIOĞLU
- Büyük dil modeli desteği ile doğal dilden SQL dönüşümü yapan sistem oluşturulması
Creating a natural language to SQL conversion system with large language model support
ALİ GALİP ÇINAR
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. BUKET DOĞAN
- Harita tabanlı kitle kaynak kullanımı yöntemiyle dijital kentsel bellek aktarım modeli e[kent-im]: Kütahya kent merkezi örneği
Digital urban memory transmission model using map-based crowdsourcing method e[kent-im]: The case of Kütahya city center
HATİCE KÜBRA SARAOĞLU YUMNİ
Yüksek Lisans
Türkçe
2024
Mimarlıkİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
DOÇ. DR. DERYA GÜLEÇ ÖZER
- CycleGAN-RRW: BLIND REVERSIBLE IMAGE WATERMARKING VIA CYCLE-
CycleGAN-RRW: GÜVENLİ GÖRSEL SAHİPLİĞİ DOĞRULAMASI İÇİN DÖNGÜ-TUTARLI REKABETÇİ ÖZELLİK ŞİFRELEME YÖNTEMİYLE KÖR GERİ DÖNÜŞÜMLÜ GÖRSEL DAMGASI
MOHAMMED SHAMAR YADKAR
Doktora
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SEFER KURNAZ