Açık uçlu maddelerde otomatik puanlamanın güvenirliği ve test eşitleme hatalarına etkisi
The reliability of automated essay scoring and its effect on test equating errors
- Tez No: 546121
- Danışmanlar: PROF. DR. NURİ DOĞAN
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 165
Özet
Testlerde kullanılan yapılandırılmış cevap maddelerini puanlamak güç, zaman alıcı ve masraflı olabilmektedir. Bilgisayar teknolojisindeki gelişmeler yapılandırılmış cevap maddelerinin otomatik olarak puanlanmasını olanaklı hale getirmiştir. Ancak otomatik puanlamaya geçerlik, güvenirlik ve test eşitleme ile ilgili araştırmalar yapılmadan başvurulması ciddi problemlere yol açabilecektir. Çalışmanın amacı karma testlerde yapılandırılmış cevap maddelerini otomatik puanlamak ve bu durumun güvenirlik ve test eşitleme üzerindeki etkisini araştırmaktır. Araştırmada kullanılan veriler, Türkiye Cumhuriyeti Millî Eğitim Bakanlığı tarafından 2016 yılında uygulanan Akademik Becerilerin İzlenmesi ve Değerlendirilmesi (ABİDE) araştırmasına ait 8. sınıf Türkçe testi verileridir. Bahsedilen testler ortak maddeler içermektedir. Otomatik puanlama yöntemi olarak destek vektör makinesi (support vector machine [SVM]), lojistik regresyon (logistic regression [LR]), çok terimli sade bayes (multinominal naive bayes [MNB]), kısa uzun süreli bellek (long-short term memory [LSTM]) ve iki yönlü kısa uzun süreli bellek (bidirectional long-short term memory [BLSTM]) seçilmiştir. Test eşitleme sürecinde Klasik Test Kuramı (KTK) ve Madde Tepki Kuramına (MTK) dayalı yöntemlerden yararlanılmıştır. Araştırma sonucunda gerçek puanlayıcılarla en iyi uyumu gösteren otomatik puanlama yönteminin BLSTM olduğu sonucuna ulaşılmıştır. BLSTM yöntemiyle elde edilen puanlar gerçek puanlayıcıların üzerinde anlaştıkları puanlarla iyi bir uyum göstermektedir. Çoğu eşitleme yönteminde, otomatik puanlama ile gerçekleştirilen eşitleme işlemine ait hataların gerçek puanlayıcılar ile gerçekleştirilen eşitleme işlemine ait hatalara yakın olduğu gözlenmiştir. Hem gerçek puanlayıcılarla uyum hem de eşitleme işlemi açısından otomatik puanlamanın uygulanabileceği sonucuna ulaşılmıştır.
Özet (Çeviri)
It might be difficult, time-consuming and costly to score constructed response items in tests. However, improvements in computer technology have enabled the automated scoring of constructed response items. Yet, the application of automated scoring without making investigation on validity, reliability and test equating can lead to serious problems. In this sense, the aim of this study was to score the constructed response items in mixed format tests automatically and to investigate the effect of this on test equating and reliability. The data examined in this study were the 8th grade Turkish test data of ABİDE research (Education Skills Monitoring and Evaluation) carried out by Ministry of National Education in Turkey in 2016. These tests contained common items. Support vector machine (SVM), logistic regression (LR), multinominal naive bayes (MNB), long-short term memory (LSTM) and bidirectional long-short term memory (BLSTM) were selected as automated scoring methods. During the test equating process, methods based on Classical Test Theory and Item Response Theory were utilized. The results of the study revealed that the most compatible automated scoring method with actual raters is BLSTM. The scores obtained by the BLSTM method were in good agreement with the scores of actual raters. In most of the equating methods, it was observed that errors of equating process done with automated scoring were close to the errors of equating process done by actual raters. It was concluded that automated scoring can be applied since it is compatible with actual raters and convenient in terms of equating.
Benzer Tezler
- Açık uçlu maddelerin otomatik puanlanmasında doğal dil işleme yönteminden yararlanılarak makine öğrenmesi algoritmalarının karşılaştırılması
Comparison of machine learning algorithms utilizing natural language processing in the automatic scoring of open-ended items
KÜBRA YILMAZ
Doktora
Türkçe
2025
Eğitim ve ÖğretimAnkara ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. KAAN ZÜLFİKAR DENİZ
- Matematik okuryazarlığına yönelik açık uçlu maddelerde puanlayıcı özelliklerinin genellenebilirlik kuramıyla incelenmesi
Investigation of rater characteristics in mathematical literacy open-ended items using generalizability theory
CANAN UÇAR
Yüksek Lisans
Türkçe
2024
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. MELEK GÜLŞAH ŞAHİN
- Okuduğunu anlama başarısının yanıtlama davranışları, sosyoekonomik, sosyokültürel ve bireysel özellikler bağlamında incelenmesi
Examination of reading comprehension in the context of personal attributes, socioeconomic and sociocultural variables
NESLİHAN TUĞÇE ŞİMŞEK
Yüksek Lisans
Türkçe
2017
Eğitim ve ÖğretimAnkara ÜniversitesiEğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
YRD. DOÇ. DR. ÖMER KUTLU
- Eğitimde çok kültürlülük bağlamında farklı madde türlerinin test ve madde istatistiklerinin karşılaştırılması
Comparison of test and item statistics of different item formats in the context of multicultural education
ÖZGE MEŞE
Yüksek Lisans
Türkçe
2025
Eğitim ve ÖğretimKocaeli ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ NESLİHAN TUĞÇE ÖZYETER
- Sekizinci sınıf öğrencilerinin bilimsel süreç becerilerini ölçmeye yönelik bir test geliştirme çalışması
A study of test development to measure science process skills of 8th grade students
METİN ŞARDAĞ
Yüksek Lisans
Türkçe
2013
Eğitim ve ÖğretimBalıkesir Üniversitesiİlköğretim Ana Bilim Dalı
YRD. DOÇ. DR. AYSEL KOCAKÜLAH