Açık uçlu maddelerde otomatik puanlamanın güvenirliği ve test eşitleme hatalarına etkisi
The reliability of automated essay scoring and its effect on test equating errors
- Tez No: 546121
- Danışmanlar: PROF. DR. NURİ DOĞAN
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 165
Özet
Testlerde kullanılan yapılandırılmış cevap maddelerini puanlamak güç, zaman alıcı ve masraflı olabilmektedir. Bilgisayar teknolojisindeki gelişmeler yapılandırılmış cevap maddelerinin otomatik olarak puanlanmasını olanaklı hale getirmiştir. Ancak otomatik puanlamaya geçerlik, güvenirlik ve test eşitleme ile ilgili araştırmalar yapılmadan başvurulması ciddi problemlere yol açabilecektir. Çalışmanın amacı karma testlerde yapılandırılmış cevap maddelerini otomatik puanlamak ve bu durumun güvenirlik ve test eşitleme üzerindeki etkisini araştırmaktır. Araştırmada kullanılan veriler, Türkiye Cumhuriyeti Millî Eğitim Bakanlığı tarafından 2016 yılında uygulanan Akademik Becerilerin İzlenmesi ve Değerlendirilmesi (ABİDE) araştırmasına ait 8. sınıf Türkçe testi verileridir. Bahsedilen testler ortak maddeler içermektedir. Otomatik puanlama yöntemi olarak destek vektör makinesi (support vector machine [SVM]), lojistik regresyon (logistic regression [LR]), çok terimli sade bayes (multinominal naive bayes [MNB]), kısa uzun süreli bellek (long-short term memory [LSTM]) ve iki yönlü kısa uzun süreli bellek (bidirectional long-short term memory [BLSTM]) seçilmiştir. Test eşitleme sürecinde Klasik Test Kuramı (KTK) ve Madde Tepki Kuramına (MTK) dayalı yöntemlerden yararlanılmıştır. Araştırma sonucunda gerçek puanlayıcılarla en iyi uyumu gösteren otomatik puanlama yönteminin BLSTM olduğu sonucuna ulaşılmıştır. BLSTM yöntemiyle elde edilen puanlar gerçek puanlayıcıların üzerinde anlaştıkları puanlarla iyi bir uyum göstermektedir. Çoğu eşitleme yönteminde, otomatik puanlama ile gerçekleştirilen eşitleme işlemine ait hataların gerçek puanlayıcılar ile gerçekleştirilen eşitleme işlemine ait hatalara yakın olduğu gözlenmiştir. Hem gerçek puanlayıcılarla uyum hem de eşitleme işlemi açısından otomatik puanlamanın uygulanabileceği sonucuna ulaşılmıştır.
Özet (Çeviri)
It might be difficult, time-consuming and costly to score constructed response items in tests. However, improvements in computer technology have enabled the automated scoring of constructed response items. Yet, the application of automated scoring without making investigation on validity, reliability and test equating can lead to serious problems. In this sense, the aim of this study was to score the constructed response items in mixed format tests automatically and to investigate the effect of this on test equating and reliability. The data examined in this study were the 8th grade Turkish test data of ABİDE research (Education Skills Monitoring and Evaluation) carried out by Ministry of National Education in Turkey in 2016. These tests contained common items. Support vector machine (SVM), logistic regression (LR), multinominal naive bayes (MNB), long-short term memory (LSTM) and bidirectional long-short term memory (BLSTM) were selected as automated scoring methods. During the test equating process, methods based on Classical Test Theory and Item Response Theory were utilized. The results of the study revealed that the most compatible automated scoring method with actual raters is BLSTM. The scores obtained by the BLSTM method were in good agreement with the scores of actual raters. In most of the equating methods, it was observed that errors of equating process done with automated scoring were close to the errors of equating process done by actual raters. It was concluded that automated scoring can be applied since it is compatible with actual raters and convenient in terms of equating.
Benzer Tezler
- Matematik okuryazarlığına yönelik açık uçlu maddelerde puanlayıcı özelliklerinin genellenebilirlik kuramıyla incelenmesi
Investigation of rater characteristics in mathematical literacy open-ended items using generalizability theory
CANAN UÇAR
Yüksek Lisans
Türkçe
2024
Eğitim ve ÖğretimGazi ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. MELEK GÜLŞAH ŞAHİN
- Okuduğunu anlama başarısının yanıtlama davranışları, sosyoekonomik, sosyokültürel ve bireysel özellikler bağlamında incelenmesi
Examination of reading comprehension in the context of personal attributes, socioeconomic and sociocultural variables
NESLİHAN TUĞÇE ŞİMŞEK
Yüksek Lisans
Türkçe
2017
Eğitim ve ÖğretimAnkara ÜniversitesiEğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
YRD. DOÇ. DR. ÖMER KUTLU
- Sekizinci sınıf öğrencilerinin bilimsel süreç becerilerini ölçmeye yönelik bir test geliştirme çalışması
A study of test development to measure science process skills of 8th grade students
METİN ŞARDAĞ
Yüksek Lisans
Türkçe
2013
Eğitim ve ÖğretimBalıkesir Üniversitesiİlköğretim Ana Bilim Dalı
YRD. DOÇ. DR. AYSEL KOCAKÜLAH
- PISA 2009 uygulamasına katılan ülkelerin okuma becerileri alt test sonuçlarının profil analizi ile değerlendirilmesi
The evaluation of the reading skills subtest scores of the countries participated in PISA 2009 with the profile analysis
ÖZKAN SAATÇİOĞLU
Yüksek Lisans
Türkçe
2014
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
YRD. DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU
YRD. DOÇ. DR. HÜSEYİN HÜSNÜ YILDIRIM
- Farklı kavramsal anlama düzeyindeki 8. sınıf öğrencilerinin kuvvet-hareket ve ısı-sıcaklık konularıyla ilgili grafikleri çizme ve yorumlama becerilerinin incelenmesi
Examining the skills of drawing and interpreting graphics about force-motion and heat-temperature of 8th grade students with different conceptual understanding levels
FİRDEVS KİZİR
Yüksek Lisans
Türkçe
2020
Eğitim ve ÖğretimGazi ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
PROF. DR. NEJLA YÜRÜK