Aligning reviewer guidelines and reviewer feedback: A data-driven study
Hakem yönergeleri ile geri bildirimlerinin uyumu: Veri temelli bir çalişma
- Tez No: 995601
- Danışmanlar: PROF. DR. TUĞBA TAŞKAYA TEMİZEL
- Tez Türü: Yüksek Lisans
- Konular: Dilbilim, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Linguistics, Computer Engineering and Computer Science and Control, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Veri Bilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Akademik yayın mecraları, değerlendirme sürecinde bir standart oluşturması adına hakem yönergeleri oluştururlar. Bu çalışma, hakemlerin değerlendirmelerinde sormuş oldukları soruları kategorize etmek ve ilgili yönergelerle uyumunu sistematik olarak ölçmek üzere tasarlanmış bir yapı sunmaktadır. Analiz için, OpenReview platformunda bulunan International Conference on Learning Representations (ICLR) mecrasının 2024 iterasyonunda bulunan değerlendirme verileri kullanılmıştır. Sunulan yapı, hakem sorgu metinlerini anlamsal olarak tutarlı öbeklere ayrıştırmak amacıyla Büyük Dil Modelleri (BDM'ler) ve gömü benzerliğinden yararlanan bir yapı içermektedir. 22.358 değerlendirmeden tabakalı örneklem ile seçilen 427 değerlendirme, çoklu ajan mutabakat doğrulamasından geçirilmiştir ve içerisinden 760 soru öbeği elde edilmiştir. Üretken konu modellemesi ile bu veri seti içerisinde, Metodoloji ve Hesaplama Verimliliği de dahil olmak üzere 13 farklı konu tespit edilmiştir. Karşılaştırma ölçütlerini belirlemek amacıyla, on adet önde gelen Yapay Zekâ (YZ) yayın mecrasını temsil eden sekiz farklı hakem yönergesindeki değerlendirme kriterleri çıkarılmıştır. Çalışmanın son aşamasında, ampirik olarak elde edilen bu konular, söz konusu kriterlerle eşleştirilmiştir. Konu üretimi ve eşleştirme süreçleri hem manuel hem de BDM tabanlı doğrulamadan geçirilmiş; öznelliği en aza indirmek amacıyla deneyimli bir akademisyen tarafından ek bir çapraz kontrole tabi tutulmuştur. Sonuçlar, yönergeler ile uygulanan kriterler arasındaki farkı ortaya koymaktadır. Etik Hususlar sekiz yönergenin altısında yer almasına rağmen, veri setinde en düşük sayıda dokümana sahip olan konu olarak sıralanmıştır. Buna karşılık, Sunum ve Şekiller yalnızca iki yönergede yer almasına rağmen, hakem sorgularının %8,29'unu oluşturmaktadır. Elde edilen bulgular, konferans organizatörlerinin yönergeleri iyileştirmesi ve yazarların hakemler tarafından önceliklendirilen kriterlerini anlaması adına uygulanabilir içgörüler sunmakta ve nihayetinde hakem değerlendirme ekosisteminin güvenilirliğini artırmayı hedeflemektedir.
Özet (Çeviri)
Academic venues have established reviewer guidelines to enable standardized evaluation. This study proposes a framework designed to categorize reviewer inquiries and systematically measure their alignment with institutional guidelines. The analysis utilizes peer review data from the 2024 International Conference on Learning Representations (ICLR) on the OpenReview platform. The framework employs a question extraction pipeline utilizing Large Language Models (LLMs) and embedding similarity to decompose unstructured review inquiry text into semantically coherent chunks. A stratified sample of 427 reviews selected from 22,358 yielded 760 question chunks following multi-agent consensus validation. Generative topic modeling identified 13 topics within this dataset, including Methodology and Computational Efficiency. Finally, these empirically derived topics are mapped against evaluation criteria extracted from eight unique reviewer guidelines representing ten top-tier AI venues. Topic generation and mapping underwent manual and LLM-based verification, with an additional cross-check by a senior academic to reduce subjectivity. The results reveal a divergence between prescribed and practiced criteria. Ethical Considerations appears in six out of eight guidelines but ranks as the least frequent topic in the dataset. In contrast, Presentation and Figures appears only in two guidelines, but accounts for 8.29% of the reviewer inquiries. The findings offer actionable insights for conference organizers to refine guidelines and enable authors to understand the prioritized reviewer criteria in practice, ultimately enhancing the reliability of the peer review ecosystem.
Benzer Tezler
- Miselli nematik sıvı kristallerin diyamagnetik özelliklerinin elektron spin rezonans yöntemiyle belirlenmesi
Başlık çevirisi yok
AYŞEN ALAMAN
- Teori ve pratikte supranational Avrupa Topluluk Hukuku (yapısal ve operasyonel bir çalışma)
Başlık çevirisi yok
İRFAN PAÇACI
- Taşıt lastiklerinin dinamik karakteristiklerinin ölçülmesi
Experimental analysis of dynamic characteristics of pneumatic tires
ÖZGEN AKALIN
- Hücresel imalat sistemlerinin tasarımı ve kontrolü için benzetim amaçlı bir üreteç
A Simulation generator for cellular manufacturing systems design and control
MUSTAFA AKHUN
Yüksek Lisans
Türkçe
1992
İstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Türkiye ve Avrupa betonarme yönetmeliklerinin karşılaştırılması
Comparasion of the Turkish building code and requirements for reinforced concrete to the european code for concrete structures
HAKAN ERDEM HAVAYİR