Hakem atama otomasyonu için bir karar destek sistemi: Doğal dil işleme ve veri-güdümlü optimizasyon ile bütünleşik bir yaklaşım

A decision support system for reviewer assignment automation: An integrated approach with natural language processing and data-driven optimization

PDF İndir

Tez No: 828505
Yazar: MELTEM AKSOY
Danışmanlar: DOÇ. DR. SEDA YANIK ÖZBAY, PROF. DR. MEHMET FATİH AMASYALI
Tez Türü: Doktora
Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Endüstri ve Endüstri Mühendisliği, Computer Engineering and Computer Science and Control, Industrial and Industrial Engineering
Anahtar Kelimeler: Belirtilmemiş.
Yıl: 2023
Dil: Türkçe
Üniversite: İstanbul Teknik Üniversitesi
Enstitü: Lisansüstü Eğitim Enstitüsü
Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
Bilim Dalı: Endüstri Mühendisliği Bilim Dalı
Sayfa Sayısı: 271

Özet

Yoğun rekabet ve sınırlı finansman kaynakları nedeniyle, hibe verilmek üzere uygun proje tekliflerinin seçilmesi fon kuruluşları için hayati önem taşımaktadır. Hakem değerlendirmesi, fon kuruluşlarına sunulan proje tekliflerinin kalitesini değerlendirmek ve belirlemek için en yaygın kabul gören yöntemdir. Tekliflere yetkin hakemlerin atanması doğru ve adil bir değerlendirme süreci için kritik öneme sahiptir. Hakem değerlendirmelerinin doğru yapılmasının ön şartı, bir proje teklifini veya makaleyi incelemek için belirli sayıda yetkin hakemin belirlenmesi ve teklife atanmasıdır. Proje tekliflerinin doğru, eksiksiz ve adil bir şekilde değerlendirilebilmesi için hakemler, tekliflerin içeriğine ve hakemlerin uzmanlık alanlarına dayalı olarak atanmalı ve teklifi inceleme konusunda bir dereceye kadar yetkin olmalıdır. Geleneksel hakem atama yöntemleri, tekliflerin başlığını, özetini, anahtar kelimelerini ve diğer bölümlerini uzman kişiler ile teker teker analiz eder. Manuel atama olarak da adlandırılabilen bu süreç teklifleri değerlendirme olasılığı en yüksek olan hakem(ler)i belirlemek için büyük ölçüde tek bir karar vericinin öznel yargılarına dayanır. Ayrıca çok fazla zaman alır ve çaba/maliyet gerektirir. Tekliflerin sayısı ve/veya dikkate alınacak kısıtlar arttıkça hakemleri manuel olarak atamak oldukça zaman alıcı ve karmaşık hale gelmektedir. Geleneksel yöntemlerde karşılaşılan sorunların üstesinden gelmek için değerlendirmenin genel kalitesine katkıda bulunan, zamandan ve emekten tasarruf etmeyi vaat eden otomatik hakem atama sistemlerine ihtiyaç vardır. Bu tez çalışmasında, proje tekliflerinin değerlendirilmesinde görev alacak teklifin içeriğine hâkim, araştırma alanında yetkin ve tecrübeli hakemleri otomatik olarak belirleyen ve tekliflere atayan bir karar destek sistemi sunulmuştur. Geliştirilen sistemin, hakem atama probleminin üç ana aşamasını birlikte ele alan ve bilgi erişimi, doğal dil işleme ve optimizasyon yöntemlerine dayanan bir sistem olması amaçlanmıştır. Bu amaca ulaşmak için tasarlanan sistem üç ana aşamadan oluşmaktadır. Birinci aşamada, farklı kaynaklardan elde edilen bilgilerle proje teklifleri ve hakemlerin profilleri oluşturulmuştur. İkinci aşamada, ilk olarak tekliflerin başlıkları ve özetlerinden ve hakemlerin geçmiş yayınlarının başlıkları ve özetlerinden oluşturulan metin derlemlerine veri önişleme adımları uygulanmıştır. Bu çalışmada, derlemde yer alan farklı dillerdeki metinlerin varlığı göz önünde bulundurularak kelime temsillerinin oluşturulmasında üç farklı strateji uygulanmış ve elde edilen sonuçlar kıyaslanmıştır. Kelime temsili vektörlerinin çıkarımı için geleneksel frekans bazlı kelime temsil yöntemlerinden TF/IDF, statik kelime temsil yöntemlerinden FastText, bağlamsal kelime temsil yöntemlerinden BERT ve T5 ve çok dilli kelime temsil yöntemlerinden mBERT, XLM-R, DistilmBERT ve DistilmUSE kullanılmıştır. Son olarak, her bir teklif-hakem çifti arasındaki içerik benzerliğini değerlendiren benzerlik skoru, metinlerin vektörel temsillerine dayanarak kosinüs benzerlik metriğiyle hesaplanmıştır. Bu çalışmada, hem geliştirilen karar destek sisteminde kullanılan Türkçe için önceden eğitilmiş kelime temsil modellerinin etkinliğini test etmek ve hem de proje değerlendirme sürecine ayrılan zamanı ve işgücünü azaltmak ve değerlendirmenin diğer süreçlerinde yapılacak işleri kolaylaştırmak için tekliflerin otomatik gruplanmasına yönelik bir yaklaşım sunulmuştur. Teklifleri temsil eden vektörleri elde etmek amacıyla Türkçe dili için önceden eğitilmiş FastText ve BERT yöntemleri ile frekans tabanlı temsil yöntemi olan TF/IDF kullanılmıştır. Elde edilen özellik vektörleri yardımıyla proje teklifleri k-means, k-means++, k-medoids ve aglomeratif kümeleme algoritmaları kullanılarak belirli sayıda kümeye bölünmüştür. Ayrıca, K-En Yakın Komşular, Destek Vektör Makineleri, Yapay Sinir Ağları, Sınıflandırma ve Regresyon Ağaçları ve Rassal Orman gibi sınıflandırma algoritmalarıyla hangi teklifin hangi gruba ait olduğunu otomatik olarak tahmin eden bir sınıflandırma modeli önerilmiştir. Sonuçlar, Türkçe için önceden eğitilmiş yöntemlerin metinleri başarılı bir şekilde temsil ettiğini göstermiştir. Ayrıca önerilen otomatik teklif gruplama yönteminin yöneticilerin gerçekleştirmesi gereken ve zaman alan manuel teklif gruplama görevini otomatikleştirmeyi mümkün kıldığı göstermiştir. Ayrıca, ikinci aşamada yetkin hakemler tarafından değerlendirilmesini sağlamak amacıyla her bir hakem için yetkinlik skoru hesaplanmıştır. Hakem yetkinlik skoru, hakemlerin h-indeks değeri, akademik unvanı ve geçmiş proje değerlendirme performansı puanları bir araya getirilerek belirlenmiştir. Bunlara ek olarak ikinci aşamada değerlendirme sürecinin tarafsızlığını ve adaletini etkileyebilecek teklifle hakem arasındaki çıkar çatışması tespit edilmiştir. Üçüncü aşamada ise projelere yetkin hakemler atamak için çok amaçlı tam sayılı doğrusal programlama optimizasyon modelleri sunulmuştur. Temel model olarak adlandırılan optimizasyon modeli ile kümülatif benzerlik skoru ve kümülatif yetkinlik skorunu maksimize etmek amaçlanmıştır. Modelde proje-hakem benzerliği ve hakem yetkinliği iki amaç olarak formüle edilmiştir. Çözümünde ise proje-hakem benzerliğini, hakem yetkinliğinden daha öncelikli olarak ele alınan sözlüksel yöntem kullanılmıştır. Temel modelde proje teklifi talebi, hakem iş yükü, değerlendirme maliyeti, eğitim maliyeti, bir proje teklifi-hakem çifti arasındaki çıkar çatışmasından kaçınmak gibi kısıtlar dikkate alınmıştır. Temel modelde benzerlik skoru ve yetkinlik skorunu maksimize ederken dengeli hakem iş yükü dağılımı da iki farklı yaklaşım ile araştırılmıştır. Bu yaklaşımlardan birinde dengeli iş yükü üçüncü bir amaç olarak amaç fonksiyonunda esnek bir kısıt olarak ele alınırken, diğer yaklaşımda katı bir kısıt olarak modele eklenmiştir. Ayrıca, üçüncü aşamada, hakem atamasında kümülatif skorların maksimizasyonundan çok en kötü durumdaki tekliflerin iyileştirilmesini sağlayacak bir maks-min model formülasyonu ele alınmıştır. Bunun için problem, amaç fonksiyonlarının önem sıralamasını dikkate alan ve maks-min adalet hedefine dayanan sözlüksel maks-min yöntemi ile çözülmüş ve Temel modeldeki en kötü skorlara sahip %20'lik dilimde önemli iyileştirmeler sağlandığı gösterilmiştir. Önerilen karar destek sisteminin performansı, proje tekliflerine hibe desteği sağlayan İstanbul Kalkınma Ajansı'nın 2012-2021 yılları arasında ilan etmiş olduğu teklif çağrılarına sunulan proje teklifi veri kümesi ile test edilmiştir. Deneysel sonuçlar, önerilen yaklaşımın hakem atama problemi için etkili ve verimli bir şekilde uygulanabileceğini göstermektedir. Ayrıca bu çalışma kapsamında geliştirilen karar destek sistemi ile elde edilen hakem atama sonuçlarıyla manuel atama sonuçları kıyaslanmıştır. Sonuçlara göre, otomatik atamanın hem toplam benzerlik skoru hem de toplam yetkinlik skoru açısından manuel atamadan daha iyi sonuçlar verdiği görülmüştür. Önerilen karar destek sistemi; teklif ve hakem profilini oluşturmak, potansiyel hakemler ile teklifler arasındaki benzerlik skorunu hesaplamak, her bir hakem için yetkinlik skorunu hesaplamak, çıkar çatışmalarından kaçınmak, hakem uzmanlığını ve verimliliğini dengelemek ve tekliflere belirli sayıda hakem atamak için kullanılabilir. Geliştirilen sistemin zaman ve maliyet tasarrufu sağlayarak atama sürecinin verimliliğini artırabileceğine inanılmaktadır. Bölgesel kalkınma ajanslarının proje değerlendirme süreci baz alınarak geliştirilen hakem atama sisteminin diğer devlet/özel fon kurumlarının veya araştırma kurumlarının teklif değerlendirme sürecinde benzer kullanım için kolayca uyarlanabileceği ve genişletilebileceği düşünülmektedir. Ayrıca dergiler ve konferanslar için makale seçim sürecinin proje teklifi seçim sürecine benzerliği göz önünde bulundurularak bu çalışmada önerilen karar destek sisteminin, konferans yönetim sistemleri ve dergi değerlendirme sistemlerini hızlandırmak ve geliştirmek için kullanılabileceği düşünülmektedir.

Özet (Çeviri)

When allocating funds, selecting projects that would result in effective development interventions and long-term success is becoming increasingly important in various entities, such as government or private funding agencies, universities, and research institutes. Project selection is also critical because expenditures on projects represent a significant investment and impact on the organization's stakeholders, current and future financial health, and ability to compete strategically and technically. Due to limited resources, numerous efforts are made to ensure proposal selection efficiency and accuracy. Project selection is a complex and time-consuming procedure with numerous sub-tasks. In this process, proposals are evaluated against the criteria specified by the financial support program to determine which projects are eligible for grants. Peer review is a regular professional procedure used to evaluate the quality and feasibility of project proposals. The assignment of expert reviewers to project proposals, known as the Reviewer Assignment Problem (RAP), is a critical and challenging task in the peer review process of grant organizations. Appropriate reviewer assignment significantly impacts the quality of proposal evaluation, as accurate and fair reviews are contingent on their assignment to relevant reviewers. In order to maximize the quality of reviews and ensure a fair and impartial evaluation, the following important points should be considered when determining and assigning reviewers: (1) reviewers must be assigned to proposals based on their areas of expertise; (2) proposals must be evaluated by the most qualified reviewers in their respective subject areas; (3) reviewers should be eager and enthusiastic about examining proposals; (4) no reviewer should examine more than the agreed-upon number of proposals; (5) each reviewer should analyze the same number of proposals; (6) each proposal should be reviewed by a certain number of reviewers; and (7) relationships between applicants and reviewers that may undermine the fairness of the review process should be avoided. Traditionally, reviewer assignments are conducted by a single decision-maker (such as a grant program manager) or a small committee, and all these tasks are performed manually. Nevertheless, the manual assignment process is highly time-consuming and entails the subjective or biased judgment of the committee. In addition, it is challenging to optimize the assignments because all the requirements could not be taken into account properly. Moreover, reviewer assignments have to be made under severe time limitations as many applications were received close to the deadline that had been announced. In the current peer review process, there are many reviewers and proposals, even thousands. Such a high number of reviewers and proposals slows down the manual assignment process, making peer review problematic for conference chairs, journal editors, and grant managers. Thus, the manual approach is extremely laborious and does not always produce the optimal outcome. Automation has been in high demand in the review process of project proposals to overcome the difficulties of the manual procedure. Automated reviewer assignment not only has the potential to facilitate the task but also leads to less biased and more systematic proposal-reviewer matches than manual protocols. This thesis proposes a decision support system that automatically identifies and assigns reviewers with the necessary expertise and experience to evaluate project proposals. The system was developed to address the three main stages of the RAP, utilizing information retrieval, natural language processing, and optimization methods. The proposed system consists of three main stages. In the first stage, information about proposals and reviewers is retrieved from different sources and used to create profiles of the proposals and reviewers. In the second stage, data preprocessing steps are applied to a text corpus created from the titles and abstracts of proposals and reviewers' past publications. Then, vector representations of proposal texts and reviewers' publications are created using various word embedding methods. In this study, three different strategies are applied in creating word embeddings, taking into account the presence of texts in different languages in the corpus. Traditional frequency-based (TF/IDF), static (FastText), contextual (BERT and T5), and multilingual (mBERT, XLM-R, DistilmBERT, and DistilmUSE) word embedding methods are used for extracting word representation vectors. Finally, the similarity score evaluating the content similarity between each proposal-reviewer pair is calculated based on the vector representations of the texts with the cosine similarity metric. Also, the competency score is calculated for each reviewer to ensure the evaluation of project proposals by reviewers with high academic experience and competence in project evaluation, as well as having reached a high academic prestige level. The competency score is determined by combining the h-index value, academic title, and past project evaluation performance scores of the reviewer. In addition, in the second stage, conflicts of interest between the proposal and the reviewer that could affect the neutrality and fairness of the evaluation process is identified. In the third stage, multi-objective integer linear programming optimization models are presented to assign reviewers to project proposals under specific constraints. The optimization model, called the basic model, aims to maximize the cumulative similarity score and cumulative competency score while avoiding conflicts of interest under constraints such as proposal demand, reviewer workload, evaluation cost, and training cost. In addition, two separate optimization models based on the basic model are presented to investigate balanced reviewer workload distribution while maximizing the objective functions. In order to solve three multi-objective integer linear programming optimization models, the lexicographic method is used. We utilize the lexicographic technique to solve the multi-objective model, where maximizing the cumulative similarity score is prioritized compared to maximizing the cumulative competency score. In this thesis, another consideration was to obtain fair reviewer assignment solutions where worst-case assignments are improved. In order to achieve this goal, the problem is modeled and solved using the lexicographic max-min method, based on the max-min fairness. The results show that worst case assignments are improved significantly using this max-min model formulation. The proposed decision support system can be used to create the proposal and reviewer profiles, calculate the similarity score between potential reviewers and proposals, compute the competency score for each reviewer, avoid conflicts of interest, balance reviewer expertise and competency, and assign a specific number of reviewers to each proposal. The performance of the proposed decision support system has been tested with a real dataset of project proposals submitted to different financial support programs of the Istanbul Development Agency. Experimental results show that the proposed approach can be effectively and efficiently applied to the RAP. Additionally, the proposed system's reviewer assignment results are compared with those obtained through manual methods. The comparison results indicate that the automatic assignment provided better total similarity and competency scores than the manual assignment. The decision support system proposed in this thesis is expected to eliminate the issues and risks of the manual reviewer assignment process. It is believed that with the developed system, the time allocated for this step of the project evaluation and selection process, which must be completed within a certain period, will be shortened, limited resources such as labor and money will be used efficiently, and the process will be facilitated and become standardized. The presented decision support system will minimize the cost of incorrect evaluations resulting from project-reviewer irrelevance, inconsistency, and conflicts of interest. As a result of a higher-quality project evaluation process, the correct projects will be selected, and the investment return for the funding organization will increase. It is thought that the reviewer assignment system developed based on the project evaluation process of regional development agencies can be easily adapted and expanded for similar use in other government or private funding institutions or research institutions' proposal evaluation processes. Additionally, considering the similarity between the article selection process for journals and conferences and the project proposal selection process, it is possible that the proposed decision support system could be used to speed up and improve conference management systems and journal evaluation systems. Also, this thesis presents an application for the automatic grouping of project proposals to validate the effectiveness of pre-trained word embedding methods for Turkish, which are used in the developed decision support system. When a large number of project proposals are received, it is common for them to be categorized according to their similarities. This is a critical step in the project selection process because proposal grouping significantly simplifies the following steps of projection selection, such as reviewer assignment and evaluation of projects. Currently, proposal grouping is accomplished primarily by manual comparison of similar topics, discipline areas, and keywords declared by project applicants. As the number of proposals increases, this task becomes complicated and time-consuming. Additionally, applicants frequently indicate particular research fields or keywords with respect to their subjective viewpoints and potential misinterpretations. Also, project sorting made by funding organizations' employees may be flawed. When project proposals are grouped manually, these employees have varied interpretations of the keywords and disciplinary areas reported by applicants and lack sufficient knowledge in all research disciplines. Therefore, many project proposals are grouped without fully understanding their content. In summary, proposals are misclassified due to time constraints, a lack of understanding of the proposal's content, divergent perspectives and incomplete information. Incorrect proposal grouping results in insufficient evaluation and selection of projects. Due to the apparent limitations of manual grouping, an efficient method for grouping project proposals is necessary. In response to the need for automatic grouping of proposals, this study aims to demonstrate how to effectively use the rich information in the title and abstract of Turkish project proposals to group them automatically. To achieve this aim, this thesis proposes a model that effectively groups Turkish project proposals by combining word embedding, clustering, and classification techniques. This study employs two outperforming neural network-based textual feature extraction techniques to obtain terms representing the proposals: BERT as a contextual word embedding method and FastText as a static word embedding method. Along with these neural-network-based methods, the TF/IDF model, a classic frequency-based word representation method, is also used to represent the text. These extracted terms are grouped using both clustering and classification techniques. The natural groups contained within the corpus are discovered using k-means, k-means++, k-medoids, and agglomerative clustering algorithms. Additionally, this study employs classification approaches to predict the target class for each proposal document in the corpus. For the classification of project proposals, various classifiers, including K-Nearest Neighbors (KNN), Support Vector Machines (SVM), Artificial Neural Networks (ANN), Classification and Regression Trees (CART), and Random Forest (RF), are used. Empirical experiments are conducted to validate the proposed method's effectiveness using real data from the Istanbul Development Agency. Results show that generated word embeddings can effectively represent proposal texts as vectors and be used as inputs for clustering or classification algorithms. Using clustering algorithms, the document corpus is divided into five natural groups. In addition, the results demonstrate that proposals can be easily categorized into predefined categories using classification algorithms. SVM-Linear achieves the highest prediction accuracy (89.2%) with the FastText word representation method. A comparison of manual grouping versus automatic classification and clustering results reveals that both the classification and clustering techniques have a high success rate. The proposed model automatically benefits from the rich information in the project proposals and significantly reduces numerous time-consuming tasks that managers must perform manually. Thus, it eliminates the drawbacks of current manual methods and yields significantly more accurate results without distorting the text's meaning. In addition, the proposed grouping approach promotes the diversity of group composition and makes it possible to achieve comparable group sizes between groups.

Benzer Tezler

Tez No
613254
A comprehensive dataset including force cues for gesture recognition and skills assessment in robotic surgery
Robotik cerrahiide kuvvet ipuçları içeren kapsamlı bir veri seti hareket tanıma ve beceri değerlendirmesi
DENİZ EKİN CANBAY
Yüksek Lisans
İngilizce
2019
Mekatronik Mühendisliği İstanbul Teknik Üniversitesi
Mekatronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ NAZIM KEMAL ÜRE
DR. ÖĞR. ÜYESİ FANNY FICUCIELLO
Tez No
363546
Modelling, control and implementation of an unmanned vertical take-off and landing aircraft
Dikey iniş kalkış yapabilen bir insansız hava aracının modellenmesi, kontrolü ve gerçeklenmesi
FARABİ AHMED TARHAN
Yüksek Lisans
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol İstanbul Teknik Üniversitesi
Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN TEMELTAŞ
Tez No
343668
A genetic algorithm for simultaneously scheduling games and assigning referees in turkish football league
Türkiye futbol liginde simultane oyun programlama ve hakem atama için genetik algoritma
OLGU PELİN HÜSEYİNOĞLU
Yüksek Lisans
İngilizce
2014
Endüstri ve Endüstri Mühendisliği Işık Üniversitesi
Endüstri Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SABRİ TANKUT ATAN
Tez No
246703
Asymptotically optimal assignments in ordinal evaluations of proposals
Ordinal sıralama yöntemiyle yapılan proje önerisi değerlendirmelerinde asimtotik olarak optimum atama yöntemleri
ABDULLAH ATMACA
Yüksek Lisans
İngilizce
2009
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol İhsan Doğramacı Bilkent Üniversitesi
Bilgisayar Mühendisliği Bölümü
PROF. DR. A. YAVUZ ORUÇ
PROF. DR. CEVDET AYKANAT
Tez No
296046
Hz. Ali'nin devlet idaresi
The governing of Hz. Ali
MURAT BIYIKLI
Yüksek Lisans
Türkçe
2011
Tarih Erciyes Üniversitesi
İslam Tarihi ve Sanatları Ana Bilim Dalı
PROF. DR. SEBAHATTİN SAMUR

Geri Dön