Semantic matching for reviewer assignment: An ablation study of dense retrieval, clustering and LLM reasoning
Hakem atamasında anlamsal eşleştirme: Yoğun bilgi getirme modelleri, kümeleme ve LLM tabanlı akıl yürütme üzerine ablasyon çalışması
- Tez No: 1013135
- Danışmanlar: PROF. DR. FEHİME NİHAN ÇİÇEKLİ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Araştırma projelerine uygun akademik hakemler atamak, hem proje tanımlarının anlamsal içeriğini hem de akademisyenlerin çeşitli araştırma geçmişlerini anlamayı gerektiren karmaşık bir görevdir. Manuel hakem atama veya basit anahtar kelime tabanlı yöntemler genellikle bu ilişkileri etkili bir şekilde yakalamakta başarısız olur. Bu tez, proje-akademisyen eşleştirmesini iyileştirmek için gömme tabanlı alma, kümeleme ve büyük dil modeli (LLM) tabanlı akıl yürütmeyi entegre eden anlamsal, veri odaklı bir çerçeve önermektedir. Yayınlar, danışmanlık edilen tezler ve araştırma anahtar kelimelerinden oluşan akademik profiller, hedef proje tanımlarıyla birlikte, yoğun anlamsal temsiller üretmek için önceden eğitilmiş bir gömme modeli kullanılarak kodlanır. Elde edilen gömmeler daha sonra, akademisyenleri birincil araştırma alanlarına göre düzenlemek için kümeleme teknikleri kullanılarak gruplandırılır. Bir hedef proje verildiğinde, aday hakemler birden fazla ilgili kümeden alınır ve farklı araştırma alanlarından hakem seçimi mümkün kılınır. Bu yaklaşım, özellikle disiplinlerarası projelerde, farklı alanların yeterince temsil edilmesini sağlar. En iyi adaylar daha sonra bir büyük dil modeline sunulur; bu model, adayları uygunluklarına göre yeniden sıralar ve her atama kararını gerekçelendirmek için açık bir mantık üretir. Çerçeve, farklı metinsel özellik kombinasyonlarının, gömme modeli seçiminin ve LLM seçimlerinin eşleştirme performansı üzerindeki etkilerini analiz eden bir ayrıştırma çalışmasıyla değerlendirilir. Genel olarak, önerilen yaklaşım, nicel anlamsal benzerliği nitel LLM odaklı mantıkla birleştirerek, değerlendirici atama doğruluğunu ve yorumlanabilirliğini artırmayı amaçlamaktadır.
Özet (Çeviri)
Assigning suitable academic reviewers to research projects is a complex task that requires understanding both the semantic content of project descriptions and the diverse research backgrounds of academicians. Manual reviewer assignment or simple keyword-based methods often fail to capture these relationships effectively. This thesis proposes a semantic, data-driven framework that integrates embedding-based retrieval, clustering, and large language model (LLM) based reasoning to improve project–academician matching. Academic profiles consisting of publications, supervised theses, and research keywords, along with target project descriptions, are encoded using a pretrained embedding model to produce dense semantic representations. The resulting embeddings are then grouped using clustering techniques to organize academicians according to their primary research domains. Given a target project, candidate reviewers are retrieved from relevant clusters, enabling the selection of reviewers across different research areas. This approach is particularly beneficial for interdisciplinary projects, ensuring that different domains are both adequately represented. The top candidates are subsequently provided to an LLM, which reranks them according to their suitability and generates explicit reasoning to justify each assignment decision. The framework is evaluated through an ablation study analyzing the effects of different textual feature combinations, embedding model selection, and LLM choices on matching performance. Overall, the proposed approach aims to enhance reviewer assignment accuracy and interpretability by combining quantitative semantic similarity with qualitative LLM-driven reasoning.
Benzer Tezler
- A large language model (LLM)-based framework for bid/no-bid decision support in construction public procurement: Validated on romanian tenders
İnşaat kamu ihalelerinde teklif verme / vermeme karar desteği için büyük dil modeli (LLM) tabanlı bir çerçeve: Romanya ihaleleri üzerinde doğrulama
ELİF GÜLİN PETEK
Yüksek Lisans
İngilizce
2026
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DOÇ. DR. ONUR BEHZAT TOKDEMİR
- Semantic processes for constructing composite Web services
Birleşik Web servislerinin oluşturulabilmesi için anlamsal işlemler
KARANİ KARDAŞ
Yüksek Lisans
İngilizce
2007
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. PINAR ŞENKUL
- A new logic-based approach for the specification and discovery of semantic web services
Başlık çevirisi yok
OMİD SHARİFİ
Doktora
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDogu Akdenız Unıversıtesı-Eastern Medıterranean UnıversıtyBilgisayar Mühendisliği Ana Bilim Dalı
- A New representation for matching words
Kelime eşleme yöntemi için yeni bir niteleme
ESRA ATAER
Yüksek Lisans
İngilizce
2007
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Y.DOÇ.DR. PINAR DUYGULU ŞAHİN
- Towards a semantic based workflow model for composition of OWL-S based atomic processes
Başlık çevirisi yok
DUYGU ÇELİK
Doktora
İngilizce
2010
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDogu Akdenız Unıversıtesı-Eastern Medıterranean UnıversıtyPROF. DR. ATİLLA ELÇİ