Açık uçlu maddelerin otomatik puanlanmasında kullanılan yöntemlerin karşılaştırılması
A comparative analysis of methods for the automated scoring of open-ended items
- Tez No: 980111
- Danışmanlar: PROF. DR. ÖMAY ÇOKLUK BÖKEOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışma açık uçlu maddelerin otomatik olarak puanlanmasında kullanılan yöntemleri karşılaştırmalı olarak incelemeyi amaçlamaktadır. Açık uçlu maddeler öğrencilerin bilgiyi yapılandırma biçimlerini, muhakeme süreçlerini ve problem çözme yaklaşımlarını ayrıntılı biçimde yansıtması nedeniyle eğitimsel değerlendirmede önemli bir işlev üstlenmektedir. Ancak yanıtların manuel olarak puanlanması hem zaman hem maliyet açısından önemli bir yük oluşturmakta ve insan puanlayıcılar arasında tutarlılığı korumayı güçleştirmektedir. Bu koşullar doğal dil işleme ve makine öğrenmesi temelli otomatik puanlama sistemlerinin eğitim ortamlarında kullanılabilirliğinin bilimsel olarak sınanmasını gerekli kılmaktadır. Bu çalışma üç sözcük temsili yaklaşımı (TF-IDF, ELMo ve BERTurk) ile iki sınıflayıcıyı (SVM ve OR) bir araya getirerek dört modelin (TF-IDF+SVM, ELMo+SVM, BERTurk+SVM, BERTurk+OR) performansını sistematik bir çerçevede incelemektedir. Çalışma kapsamında 508 öğrencinin Fen Bilimleri dersine ait 20 açık uçlu maddeye verdiği yanıtlar üç bağımsız puanlayıcı tarafından değerlendirilmiş ve ortalama puanlar ölçüt değer olarak kullanılmıştır. Modellerin performansı doğruluk, QWK, ICC ve Gwet'in AC1 katsayısı ile değerlendirilmiştir. Analizler bağlamsal sözcük temsillerine dayalı hibrit modellerin geleneksel yaklaşımlara kıyasla daha tutarlı ve doğru tahminler ürettiğini ortaya koymuştur. Özellikle BERTurk+SVM modeli tüm ölçütlerde en yüksek performansı göstermiştir. Bu sonuç Türkçe gibi eklemeli ve morfolojik açıdan zengin dillerde bağlama duyarlı temsillerin otomatik puanlama modellerine belirgin bir üstünlük sağladığını göstermektedir. Çalışma daha geniş veri setleriyle desteklenen ve derin öğrenme teknikleriyle güçlendirilmiş modellerin eğitimde otomatik puanlama uygulamalarını geliştirme potansiyeli taşıdığını ve öğretmen geri bildirim mekanizmalarıyla bütünleştirilen araçların uygulama geçerliliğini artırabileceğini göstermektedir. Gelecek araştırmalarda farklı ders alanları için ve daha geniş veri setleri kullanılarak otomatik puanlama modellerinin performanslarının incelenmesi önerilmektedir.
Özet (Çeviri)
This study aims to comparatively examine the methods used in automated scoring of constructed-response items. Constructed-response items play a crucial role in educational assessment as they reflect students' knowledge structuring, reasoning processes, and problem-solving approaches in detail. However, manual scoring of responses creates a significant burden in terms of both time and cost, and makes it difficult to maintain consistency among human raters. These conditions necessitate scientific testing of the applicability of natural language processing and machine learning-based automated scoring systems in educational settings. This study systematically examines the performance of four models (TF-IDF+SVM, ELMo+SVM, BERTurk+SVM, BERTurk+OR) by combining three word representation approaches (TF-IDF, ELMo, and BERTurk) with two classifiers (SVM and OR). Within the scope of the study, responses given by 508 students to 20 constructed-response items from the Science course were evaluated by three independent raters, and mean scores were used as criterion values. Model performance was evaluated using accuracy, QWK, ICC, and Gwet's AC1 coefficient. Analyses revealed that hybrid models based on contextual word representations produced more consistent and accurate predictions compared to traditional approaches. In particular, the BERTurk+SVM model demonstrated the highest performance across all metrics. This result indicates that context-sensitive representations provide a distinct advantage to automated scoring models in agglutinative and morphologically rich languages such as Turkish. The study demonstrates that models supported by larger datasets and enhanced with deep learning techniques have the potential to improve automated scoring applications in education, and that tools integrated with teacher feedback mechanisms can increase practical validity. Future research is recommended to examine the performance of automated scoring models using different subject areas and larger datasets.
Benzer Tezler
- Açık uçlu maddelerde otomatik puanlamanın güvenirliği ve test eşitleme hatalarına etkisi
The reliability of automated essay scoring and its effect on test equating errors
İBRAHİM UYSAL
Doktora
Türkçe
2019
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN
- Açık uçlu maddelerin otomatik puanlanmasında doğal dil işleme yönteminden yararlanılarak makine öğrenmesi algoritmalarının karşılaştırılması
Comparison of machine learning algorithms utilizing natural language processing in the automatic scoring of open-ended items
KÜBRA YILMAZ
Doktora
Türkçe
2025
Eğitim ve ÖğretimAnkara ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. KAAN ZÜLFİKAR DENİZ
- Açık uçlu maddelerin değerlendirildiği ekosistemin yapay zekâ entegrasyonuyla geliştirilen otomatik puanlama sonuçlarının incelenmesi
Analyzing the automated scoring results of the ecosystem in which open-ended items are assessed with artificial intelligence integration
OYTUN ÇETİN
Doktora
Türkçe
2025
Eğitim ve ÖğretimBahçeşehir ÜniversitesiBilgisayar ve Öğretim Teknolojileri Ana Bilim Dalı
PROF. DR. TUFAN ADIGÜZEL
- Essays on estimation methods
Tahmin yöntemleri üzerine makaleler
YASİN KÜTÜK
Doktora
İngilizce
2019
Ekonomiİstanbul Teknik Üniversitesiİktisat Ana Bilim Dalı
PROF. DR. BÜLENT GÜLOĞLU
- Açık uçlu maddelerin puanlanmasında bulanık mantık yaklaşımının kullanımı: Bulanık TOPSIS yöntemi örneği
Using a fuzzy logic approach to scoring open-ended questions: Example of the fuzzy TOPSIS method
AYKUT ÇİTCİ
Yüksek Lisans
Türkçe
2021
Eğitim ve ÖğretimKocaeli ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FATİH KEZER