Otomatik puanlama sistemleri: Sistematik bir gözden geçirme
Automatic scoring systems: A systematic review
- Tez No: 932908
- Danışmanlar: DOÇ. DR. BİLAL BARIŞ ALKAN
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Akdeniz Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Eğitimde ölçme ve değerlendirme süreçlerindeki hız, tutarlılık ve objektiflik gibi gereksinimler; otomatik metin puanlama sistemlerinin önemini her geçen gün artırmaktadır. Bu bağlamda tez çalışmasında, otomatik metin puanlama sistemlerinin mevcut durumunun ve eğitimdeki katkılarının, metin madenciliği teknikleri ile entegre bir sistematik literatür taraması yöntemiyle analiz edilmesi amaçlanmaktadır. Çalışmada, ACM, ACL, IEEE Explore, Springer ve Science Direct gibi akademik veri tabanlarından, belirli anahtar kelimelerle elde edilen 397 makale, önceden belirlenen dahil etme ve hariç tutma kriterleri doğrultusunda 182 makaleye indirgenmiştir. Bu makaleler; kullanılan veri setleri, otomatik puanlama türleri, değerlendirme metrikleri, içerik ve makine öğrenme teknikleri gibi kategoriler altında detaylı bir şekilde incelenmiş ve kapsamlı bir veri tablosunda sınıflandırılmıştır. Ayrıca, Latent Dirichlet Allocation temelli metin madenciliği teknikleri kullanılarak, makalelerdeki temel konular ve eğilimler analiz edilmiş ve kelime bulutları ile görselleştirilmiştir. Yapılan sistematik literatür taraması neticesinde; otomatik puanlama sistemleriyle ilgili temel eğilimler ve odak noktaları ayrıntılı bir şekilde ortaya konulmuştur. Çalışmaların yayın yıllarına ilişkin analizlerde, özellikle 2010 yılından itibaren bu alanda yapılan çalışmaların belirgin bir şekilde artış gösterdiği tespit edilmiştir. Veri setleri açısından yapılan değerlendirmelerde, TOEFL, ASAP ve Kaggle gibi geniş ölçekli ve çeşitli kaynakların araştırmalarda yoğun olarak kullanıldığı belirlenmiştir. Otomatik puanlama türleri incelmiş ve“semantic,”“deep learning,”ile“rubric ”temelli yaklaşımların öne çıktığı görülmüştür. Ayrıca, makine öğrenmesi tekniklerinde,“neural networks,”“BERT,”ve“LSTM”gibi modern yöntemlerin sıklıkla tercih edildiği saptanmıştır. Doğrulama metrikleri bakımından ise“Quadratic Weighted Kappa (QWK)”ve“correlation”gibi güvenilirlik ölçütlerinin yaygın olarak kullanıldığı ortaya konmuştur. Son olarak, Türkiye'de bu alanda yapılan akademik çalışmaların sınırlı sayıda olması göz önüne alındığında, bu çalışma hem literatüre hem de eğitimde ölçme ve değerlendirme alanında teknoloji temelli bu uygulamaların kullanımı konusunda; araştırmacılara ve eğitim üzerine karar vericilere rehber niteliği taşımaktadır.
Özet (Çeviri)
Requirements such as speed, consistency and objectivity in measurement and assessment processes in education are increasing the importance of automated text assessment systems from day to day. Against this background, this study aims to analyse the current status of automated text scoring systems and their contribution to education by means of a systematic literature review using text mining methods. In the study, 397 articles retrieved with specific keywords from academic databases such as ACM, ACL, IEEE Explore, Springer and Science Direct were reduced to 182 articles according to the previously defined inclusion and exclusion criteria. These articles were analysed in detail according to categories such as datasets used, automatic scoring types, evaluation metrics, content and machine learning techniques and classified in a comprehensive data table. In addition, text mining techniques based on latent Dirichlet Mapping were used to analyse the most important topics and trends in the articles and visualise them with word clouds. As a result of the systematic literature research, the most important trends and focal points in automatic evaluation systems were identified in detail. When analysing the publication years of the studies, it was found that the number of studies conducted in this area has increased significantly, especially since 2010. When analysing the data sets, it was found that large and diverse sources such as TOEFL, ASAP and Kaggle were used intensively in the studies. Different types of automated assessment were analysed and it was found that“semantic”,“ ”deep learning“ and ”rubric-based“ approaches were predominant. It was also found that modern methods such as ”neural networks“,”“BERT”and“LSTM”were often favoured among the machine learning methods. In terms of verification metrics, it was found that reliability measures such as“Quadratic Weighted Kappa (QWK)”and“Correlation”were widely used. Considering the limited number of academic studies conducted in this field in Turkey, this study serves as a guide for researchers and decision makers in the field of education for the use of these technology-based applications in the field of measurement and assessment in education as well as for the literature.
Benzer Tezler
- Imaginary cities of tomorrow: The way fiction predicts the future of our settlements
Geleceğin hayali şehirleri: Kurgunun yerleşimlerimizin geleceğini öngörme şekli
BAHADIR KEŞAN
Yüksek Lisans
İngilizce
2018
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
DOÇ. DR. ENGİN EYÜP EYUBOĞLU
- Explainable robotic plan execution monitoring under partial observability
Kısmi gözlemlenebilir ortamlarda açıklanabilir robotik plan yürütme
GÖKAY ÇORUHLU
Doktora
İngilizce
2021
Mekatronik MühendisliğiSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. VOLKAN PATOĞLU
PROF. DR. ESRA ERDEM
- Yüksek binaların kent silüetine etkisinin değerlendirilmesi için CBS tabanlı bir yöntem: Zincirlikuyu-Maslak hattı örneği
A GIS method for analysing the effects of high rise buildings on city skylines
SUZAN GİRGİNKAYA AKDAĞ
- Açık deniz römorkör ve destek gemileri işletmeciliğinin stratejikyönetim modellemesi
Strategic management modeling for offshore tugboat and supportvessel operations
ALİ BURÇİN EKE
Doktora
Türkçe
2025
Denizcilikİstanbul Teknik ÜniversitesiDeniz Ulaştırma İşletme Mühendisliği Ana Bilim Dalı
PROF. DR. ÖZCAN ARSLAN