Aligning reviewer guidelines and reviewer feedback: A data-driven study
Hakem yönergeleri ile geri bildirimlerinin uyumu: Veri temelli bir çalişma
- Tez No: 995601
- Danışmanlar: PROF. DR. TUĞBA TAŞKAYA TEMİZEL
- Tez Türü: Yüksek Lisans
- Konular: Dilbilim, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Linguistics, Computer Engineering and Computer Science and Control, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Veri Bilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Akademik yayın mecraları, değerlendirme sürecinde bir standart oluşturması adına hakem yönergeleri oluştururlar. Bu çalışma, hakemlerin değerlendirmelerinde sormuş oldukları soruları kategorize etmek ve ilgili yönergelerle uyumunu sistematik olarak ölçmek üzere tasarlanmış bir yapı sunmaktadır. Analiz için, OpenReview platformunda bulunan International Conference on Learning Representations (ICLR) mecrasının 2024 iterasyonunda bulunan değerlendirme verileri kullanılmıştır. Sunulan yapı, hakem sorgu metinlerini anlamsal olarak tutarlı öbeklere ayrıştırmak amacıyla Büyük Dil Modelleri (BDM'ler) ve gömü benzerliğinden yararlanan bir yapı içermektedir. 22.358 değerlendirmeden tabakalı örneklem ile seçilen 427 değerlendirme, çoklu ajan mutabakat doğrulamasından geçirilmiştir ve içerisinden 760 soru öbeği elde edilmiştir. Üretken konu modellemesi ile bu veri seti içerisinde, Metodoloji ve Hesaplama Verimliliği de dahil olmak üzere 13 farklı konu tespit edilmiştir. Karşılaştırma ölçütlerini belirlemek amacıyla, on adet önde gelen Yapay Zekâ (YZ) yayın mecrasını temsil eden sekiz farklı hakem yönergesindeki değerlendirme kriterleri çıkarılmıştır. Çalışmanın son aşamasında, ampirik olarak elde edilen bu konular, söz konusu kriterlerle eşleştirilmiştir. Konu üretimi ve eşleştirme süreçleri hem manuel hem de BDM tabanlı doğrulamadan geçirilmiş; öznelliği en aza indirmek amacıyla deneyimli bir akademisyen tarafından ek bir çapraz kontrole tabi tutulmuştur. Sonuçlar, yönergeler ile uygulanan kriterler arasındaki farkı ortaya koymaktadır. Etik Hususlar sekiz yönergenin altısında yer almasına rağmen, veri setinde en düşük sayıda dokümana sahip olan konu olarak sıralanmıştır. Buna karşılık, Sunum ve Şekiller yalnızca iki yönergede yer almasına rağmen, hakem sorgularının %8,29'unu oluşturmaktadır. Elde edilen bulgular, konferans organizatörlerinin yönergeleri iyileştirmesi ve yazarların hakemler tarafından önceliklendirilen kriterlerini anlaması adına uygulanabilir içgörüler sunmakta ve nihayetinde hakem değerlendirme ekosisteminin güvenilirliğini artırmayı hedeflemektedir.
Özet (Çeviri)
Academic venues have established reviewer guidelines to enable standardized evaluation. This study proposes a framework designed to categorize reviewer inquiries and systematically measure their alignment with institutional guidelines. The analysis utilizes peer review data from the 2024 International Conference on Learning Representations (ICLR) on the OpenReview platform. The framework employs a question extraction pipeline utilizing Large Language Models (LLMs) and embedding similarity to decompose unstructured review inquiry text into semantically coherent chunks. A stratified sample of 427 reviews selected from 22,358 yielded 760 question chunks following multi-agent consensus validation. Generative topic modeling identified 13 topics within this dataset, including Methodology and Computational Efficiency. Finally, these empirically derived topics are mapped against evaluation criteria extracted from eight unique reviewer guidelines representing ten top-tier AI venues. Topic generation and mapping underwent manual and LLM-based verification, with an additional cross-check by a senior academic to reduce subjectivity. The results reveal a divergence between prescribed and practiced criteria. Ethical Considerations appears in six out of eight guidelines but ranks as the least frequent topic in the dataset. In contrast, Presentation and Figures appears only in two guidelines, but accounts for 8.29% of the reviewer inquiries. The findings offer actionable insights for conference organizers to refine guidelines and enable authors to understand the prioritized reviewer criteria in practice, ultimately enhancing the reliability of the peer review ecosystem.
Benzer Tezler
- Kindergarten design and enhancement: A case study in Libya
Kındergarten tasarımı ve geliştirilmesi: Libya'daki bir vaka çalışması
SAMYRAH SHAEBAN BILEID ALTOUNSI
Yüksek Lisans
İngilizce
2018
İç Mimari ve DekorasyonÇankaya Üniversitesiİç Mimarlık Ana Bilim Dalı
YRD. DOÇ. DR. ZEYNEP ÇİĞDEM UYSAL ÜREY
- Yapay zekâ algoritmaları ile ulusal orman envanteri modelinin geliştirilmesi: İstanbul Orman Bölge Müdürlüğü örneği
Development of national forest inventory model using artificial intelligence algorithms: A case study of Istanbul Regional Directorate of Forestry
ERGİN ÇAĞATAY ÇANKAYA
Doktora
Türkçe
2025
Ormancılık ve Orman MühendisliğiBursa Teknik ÜniversitesiOrman Mühendisliği Ana Bilim Dalı
PROF. DR. TURAN SÖNMEZ
- II. Abdülhamid döneminde süreli yayınlarda neşredilen resmî bayram tebriknâmeleri
Official holiday greetings published in periodicals during the reign of Abdulhamid II
GÖKÇE ÖZDER
Doktora
Türkçe
2025
Türk Dili ve Edebiyatıİstanbul Medeniyet ÜniversitesiTürk Dili ve Edebiyatı Ana Bilim Dalı
PROF. DR. TURGAY ANAR
- Türkiye'de e-oylamanın siyasal katılım açısından uygulanabilirliğine dair bir değerlendirme
An evaluation of the applicability of e-voting in terms of political participation in Turkey
KÜBRA DAĞAŞAN
Yüksek Lisans
Türkçe
2026
Siyasal BilimlerFırat ÜniversitesiKamu Yönetimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMEL İLTER
- Türkiye'deki yönetim bilişim sistemleri bölümleri ve akreditasyon hazırlık düzeyleri
Management information systems departments in Türkiye and accreditation readiness levels
ESRA CENGİZ TIRPAN
Doktora
Türkçe
2025
Eğitim ve ÖğretimSakarya ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
PROF. DR. NİHAL SÜTÜTEMİZ
PROF. DR. ERMAN COŞKUN