Bilgisayarda bireyselleştirilmiş test uygulamalarında kapsam dengelemenin ölçme kesinliğine etkisi
Effects of content balancing on measurement precision in computerized adaptive tests
- Tez No: 913729
- Danışmanlar: PROF. DR. NURİ DOĞAN
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 122
Özet
Bu araştırmada, bireyselleştirilmiş bilgisayarlı test (BBT) uygulamasında kapsam dengeleme yapılmasının ölçme kesinliği kestirim değerlerini; farklı örneklem büyüklüklerine, yetenek kestirim yöntemlerine, madde seçim yöntemlerine ve sonlandırma kurallarına göre nasıl etkilediğinin incelenmesi amaçlanmıştır. Bu amaçla, simülatif olarak 250 ve 500 kişilik iki farklı gruba ait yetenek parametreleri ile üç parametreli lojistik (3PL) madde tepki modeli kullanılarak iki kategorili puanlanan beş farklı içerik alanı, eşit oranlarda ağırlıklandırılarak 750 maddelik madde havuzu oluşturulmuştur. Kapsam dengelemenin yapıldığı ve yapılmadığı her iki durum için; 250 ve 500 kişilik örneklemde, farklı yetenek kestirim yöntemleri, madde seçim yöntemleri ve test sonlandırma kuralları kullanılarak oluşturulan koşullar altında BBT uygulamaları gerçekleştirilmiştir. Çalışma kapsamında oluşturulan 80 koşula ait BBT uygulaması, her bir koşul için 50 replikasyon olacak şekilde R programlama dilinde yer alan“catR”paketi kullanılarak karşılaştırılmıştır. Yapılan simülasyonlar sonucunda her bir koşul için ölçme kesinliğine ait RMSE, yanlılık ve korelasyon değerleri hesaplanmıştır. Çalışmadan elde edilen sonuçlar kapsam dengelemenin genel olarak ortalama hata ve yanlılık değerlerinde hafif artışlara neden olduğunu göstermiştir. Bu küçük artışların yanı sıra kapsam dengeleme yapılan ve yapılmayan farklı test koşullarında tahmin edilen ve gerçek yetenek düzeyleri arasında yüksek korelasyon elde edilmiştir. Ayrıca RMSE, yanlılık ve korelasyon değerleri bakımından, çalışmaya dahil edilen yetenek kestirim yöntemleri arasında ise Beklenen Sonsal Dağılım yönteminin daha etkili olduğu görülmüştür. Araştırmada, kapsam dengelemenin, belirli bir doğruluk eşiğine ulaşmak için, özellikle standart hatanın belirli bir eşik değerin altına düştüğü sıkı sonlandırma kuralları altında, gereken madde sayısını yaklaşık 1 madde kadar artırdığı bulunmuştur.
Özet (Çeviri)
In this study, the aim is to examine how applying content balancing in computerized adaptive testing (CAT) affects measurement accuracy estimation values based on different sample sizes, ability estimation methods, item selection methods, and stopping rules. For this purpose, a 750-item pool was created using ability parameters for two different simulated groups of 250 and 500 individuals. This pool, weighted equally across five different content areas scored in two categories, was generated using the three-parameter logistic (3PL) item response model. CAT applications were conducted under conditions where content balancing was and was not applied for both 250- and 500-person samples, using different ability estimation methods, item selection methods, and test stopping rules. The CAT applications for the 80 conditions created in the study were compared using the“catR”package in the R programming language, with 50 replications for each condition. The simulations calculated RMSE, bias, and correlation values for measurement accuracy in each condition. Results indicated that, in general, content balancing led to slight increases in average error and bias values. Despite these small increases, a high correlation was observed between the estimated and actual ability levels across different test conditions with and without content balancing. Additionally, among the ability estimation methods included in the study, Expected a Posteriori method proved to be more effective in terms of RMSE, bias, and correlation values. The research also found that content balancing increased the required number of items by about one item to reach a specific accuracy threshold, especially under strict stopping rules where the standard error falls below a set threshold value.
Benzer Tezler
- Bilgisayarda bireyselleştirilmiş test uygulamalarında maddeyi yeniden cevaplayabilmenin ölçme hatasına ve yanlılığına etkisinin incelenmesi
The effect of item review in computerized adaptive testing on measurement error and bias
ÖMER FARUK ŞEN
Doktora
Türkçe
2022
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HÜLYA KELECİOĞLU
- Bireye uyarlanmış bilgisayarlı test ortamında maksimum fisher madde seçme yönteminin incelenmesi
Investigation of maximum fisher item selection method on computerized adaptive testing
MEVRA KAÇAR
Yüksek Lisans
Türkçe
2016
Eğitim ve ÖğretimNecmettin Erbakan Üniversitesiİlköğretim Ana Bilim Dalı
YRD. DOÇ. DR. SEMA SULAK
- Comparison of linear and adaptive versions of the Turkish pupil monitoring system (PMS) mathematics assessment
Türkiye öğrenci izleme sistemi (ÖİS) matematik değerlendirmesinin bilgisayar ortamındaki lineer ve bireyselleştirilmiş test versiyonlarının karşılaştırılması
SEMİRHAN GÖKÇE
Doktora
İngilizce
2012
Eğitim ve ÖğretimOrta Doğu Teknik ÜniversitesiOrtaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı
PROF. DR. GİRAY BERBEROĞLU
- Bireyselleştirilmiş bilgisayarlı test uygulamalarında kullanılan madde seçme yöntemlerinin karşılaştırılması
Comparision of item selection methods in computerized adaptive testing
SEMA SULAK
Doktora
Türkçe
2013
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. HÜLYA KELECİOĞLU
- Bireyselleştirilmiş bilgisayarlı test uygulamalarında farklı sonlandırma kurallarının ölçme kesinliği ve test uzunluğu açısından karşılaştırılması
Comparison of different test termination rules in terms of measurement precision and test length in computerized adaptive testing
MELEK GÜLŞAH EROĞLU
Doktora
Türkçe
2013
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HÜLYA KELECİOĞLU