Otomatik puanlama sistemleri: Sistematik bir gözden geçirme
Automatic scoring systems: A systematic review
- Tez No: 932908
- Danışmanlar: DOÇ. DR. BİLAL BARIŞ ALKAN
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Akdeniz Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Eğitimde ölçme ve değerlendirme süreçlerindeki hız, tutarlılık ve objektiflik gibi gereksinimler; otomatik metin puanlama sistemlerinin önemini her geçen gün artırmaktadır. Bu bağlamda tez çalışmasında, otomatik metin puanlama sistemlerinin mevcut durumunun ve eğitimdeki katkılarının, metin madenciliği teknikleri ile entegre bir sistematik literatür taraması yöntemiyle analiz edilmesi amaçlanmaktadır. Çalışmada, ACM, ACL, IEEE Explore, Springer ve Science Direct gibi akademik veri tabanlarından, belirli anahtar kelimelerle elde edilen 397 makale, önceden belirlenen dahil etme ve hariç tutma kriterleri doğrultusunda 182 makaleye indirgenmiştir. Bu makaleler; kullanılan veri setleri, otomatik puanlama türleri, değerlendirme metrikleri, içerik ve makine öğrenme teknikleri gibi kategoriler altında detaylı bir şekilde incelenmiş ve kapsamlı bir veri tablosunda sınıflandırılmıştır. Ayrıca, Latent Dirichlet Allocation temelli metin madenciliği teknikleri kullanılarak, makalelerdeki temel konular ve eğilimler analiz edilmiş ve kelime bulutları ile görselleştirilmiştir. Yapılan sistematik literatür taraması neticesinde; otomatik puanlama sistemleriyle ilgili temel eğilimler ve odak noktaları ayrıntılı bir şekilde ortaya konulmuştur. Çalışmaların yayın yıllarına ilişkin analizlerde, özellikle 2010 yılından itibaren bu alanda yapılan çalışmaların belirgin bir şekilde artış gösterdiği tespit edilmiştir. Veri setleri açısından yapılan değerlendirmelerde, TOEFL, ASAP ve Kaggle gibi geniş ölçekli ve çeşitli kaynakların araştırmalarda yoğun olarak kullanıldığı belirlenmiştir. Otomatik puanlama türleri incelmiş ve“semantic,”“deep learning,”ile“rubric ”temelli yaklaşımların öne çıktığı görülmüştür. Ayrıca, makine öğrenmesi tekniklerinde,“neural networks,”“BERT,”ve“LSTM”gibi modern yöntemlerin sıklıkla tercih edildiği saptanmıştır. Doğrulama metrikleri bakımından ise“Quadratic Weighted Kappa (QWK)”ve“correlation”gibi güvenilirlik ölçütlerinin yaygın olarak kullanıldığı ortaya konmuştur. Son olarak, Türkiye'de bu alanda yapılan akademik çalışmaların sınırlı sayıda olması göz önüne alındığında, bu çalışma hem literatüre hem de eğitimde ölçme ve değerlendirme alanında teknoloji temelli bu uygulamaların kullanımı konusunda; araştırmacılara ve eğitim üzerine karar vericilere rehber niteliği taşımaktadır.
Özet (Çeviri)
Requirements such as speed, consistency and objectivity in measurement and assessment processes in education are increasing the importance of automated text assessment systems from day to day. Against this background, this study aims to analyse the current status of automated text scoring systems and their contribution to education by means of a systematic literature review using text mining methods. In the study, 397 articles retrieved with specific keywords from academic databases such as ACM, ACL, IEEE Explore, Springer and Science Direct were reduced to 182 articles according to the previously defined inclusion and exclusion criteria. These articles were analysed in detail according to categories such as datasets used, automatic scoring types, evaluation metrics, content and machine learning techniques and classified in a comprehensive data table. In addition, text mining techniques based on latent Dirichlet Mapping were used to analyse the most important topics and trends in the articles and visualise them with word clouds. As a result of the systematic literature research, the most important trends and focal points in automatic evaluation systems were identified in detail. When analysing the publication years of the studies, it was found that the number of studies conducted in this area has increased significantly, especially since 2010. When analysing the data sets, it was found that large and diverse sources such as TOEFL, ASAP and Kaggle were used intensively in the studies. Different types of automated assessment were analysed and it was found that“semantic”,“ ”deep learning“ and ”rubric-based“ approaches were predominant. It was also found that modern methods such as ”neural networks“,”“BERT”and“LSTM”were often favoured among the machine learning methods. In terms of verification metrics, it was found that reliability measures such as“Quadratic Weighted Kappa (QWK)”and“Correlation”were widely used. Considering the limited number of academic studies conducted in this field in Turkey, this study serves as a guide for researchers and decision makers in the field of education for the use of these technology-based applications in the field of measurement and assessment in education as well as for the literature.
Benzer Tezler
- İzmir yöresindeki süt sığırcılığı işletmelerinde sağımı yemleme ve temizlemeye ilişkin uygulamaların mekanizasyon işletmeciliği açısından irdelenmesi
Başlık çevirisi yok
ENGİN ÇAKIR
Yüksek Lisans
Türkçe
1986
ZoolojiEge ÜniversitesiTarımsal Mekanizasyon Ana Bilim Dalı
PROF.DR. RAUF UÇUCU
- Platin halkalı atomik absorpsiyon tekniğinde pnomatik, elektronik, otomik taşıyıcı sisteminin yapımı ve (Cd, Pb, Zn) standart çözeltileri kullanılarak sistemin optimizasyonu
Başlık çevirisi yok
AHMET AVİNÇ
Doktora
Türkçe
1986
Kimya MühendisliğiEge ÜniversitesiKimya Mühendisliği Ana Bilim Dalı
PROF.DR. MEHMET AYDIN
- Tarama çeviriciler için dijital kontrol sisteminin sentezi
Başlık çevirisi yok
MURAT TÜRE
Yüksek Lisans
Türkçe
1985
Elektrik ve Elektronik MühendisliğiUludağ ÜniversitesiElektronik Ana Bilim Dalı
PROF. DR. ERGÜR TÜTÜNCÜOĞLU
- Meteorolojik verilerin ısıl değerlendirilmesi ve bilgisayarda simülasyonu
Başlık çevirisi yok
KAYA SARICALI
- Tümdevrelerle modem sentezi
Başlık çevirisi yok
ERDEM ÖZÜTÜRK
Yüksek Lisans
Türkçe
1987
Elektrik ve Elektronik MühendisliğiUludağ ÜniversitesiElektronik Ana Bilim Dalı
PROF. DR. ERGÜR TÜTÜNCÜOĞLU