Bilgisayarda bireyselleştirilmiş test uygulamalarında maddeyi yeniden cevaplayabilmenin ölçme hatasına ve yanlılığına etkisinin incelenmesi
The effect of item review in computerized adaptive testing on measurement error and bias
- Tez No: 741550
- Danışmanlar: PROF. DR. HÜLYA KELECİOĞLU
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: Türkçe
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 117
Özet
Bilgisayarda bireyselleştirilmiş test (BBT) uygulaması daha az madde ile daha hassas ve güvenilir sonuçlar vermesi sebebiyle tercih edilen bir uygulama biçimi olurken aynı zamanda bazı kısıtlamaları da içermektedir. Bu kısıtlamaların başında BBT uygulamalarında maddeyi yeniden cevaplayabilmeye izin verilmemesi gelmektedir. BBT'deki bir maddenin cevabını değiştirmek, daha önceden uygulanan maddelerin, sınava giren kişinin yeteneğini kestirmek için artık uygun olmamasına neden olabilmektedir. Cevap değişikliği sorunu için olası bir çözüm, yalnızca geçici yetenek tahminlerinin belirsizliğini hesaba katmakla kalmayıp aynı zamanda cevap değişikliğini mümkün kılan en olası optimal başlangıç değerini tanımlamaktır. Bu doğrultuda simülasyon çalışması olarak yürütülen bu araştırmada öncül bilginin tanımlandığı BBT uygulamalarında maddeyi yeniden gözden geçirmeye izin verildiğinde elde edilen yetenek kestirimlerinin standart hatasının ve yanlılığının, testin başlangıç kuralına, nihai yetenek kestirim yöntemine ve test uzunluğuna göre nasıl değiştiğini belirlemek amaçlanmıştır. Bu değerler açısından kestirimler arasında fark olup olmadığını incelemek için üç faktörlü ANOVA analizi yapılmıştır. Araştırma sonucuna göre geleneksel BBT uygulamalarında cevap değişikliğine izin verildiğinde bütün koşullarda yanlılık ve standart hata değerlerinin arttığı tespit edilmiştir. Ancak test bataryasında yer alan alt testler arasındaki korelasyondan yola çıkarak tanımlanan öncül bilgilerin hem başlama kuralında hem de nihai yetenek kestirim yönteminde kullanıldığı BBT uygulamalarında bireyler Wainer test stratejisini kullansalar bile izin verilmeyen geleneksel BBT uygulamasıyla benzer sonuçlar elde edilmektedir. Sonuç olarak öncül bilgiler BBT algoritmasını daha kullanışlı kılmakta ve test stratejilerine karşı uygulamayı dirençli hale getirmektedir.
Özet (Çeviri)
While computerized adaptive testing (CAT) is a preferred form of test practice because of providing more accurate and reliable results with fewer items, it also has some limitations. At the beginning of these restrictions, item review is not allowed in CAT. Changing the answer of an item in the CAT may cause previously administered items to no longer be suitable for estimating the test taker's real ability. A possible solution to the item review problem is to define the most likely optimal initial value that not only takes into account the uncertainty of temporal ability estimates, but also enables response change. In this direction, it is aimed to determine how the standard error and bias of the ability estimations obtained when prior knowledge is defined in reviewable CAT varies according to the initial rule of the test, the final ability estimation method and the test length. Three way ANOVAs were performed to examine whether there was a difference between the estimations in terms of standard error and bias. Results suggest that the bias and standard error values increased in all conditions when response changes were allowed in the CAT. However, when prior information defined based on the correlation between the subtests in the test battery is used in both the starting rule and the final ability estimation method, results similar to a traditional CAT are obtained in reviewable CAT even if individuals use the Wainer test strategy. As a result, prior knowledge makes the CAT algorithm more useful and resistant to Wainer test strategy.
Benzer Tezler
- Bilgisayarda bireyselleştirilmiş test uygulamalarında kapsam dengelemenin ölçme kesinliğine etkisi
Effects of content balancing on measurement precision in computerized adaptive tests
İLKAY ÜÇGÜL ÖCAL
Doktora
Türkçe
2024
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN
- Bireye uyarlanmış bilgisayarlı test ortamında maksimum fisher madde seçme yönteminin incelenmesi
Investigation of maximum fisher item selection method on computerized adaptive testing
MEVRA KAÇAR
Yüksek Lisans
Türkçe
2016
Eğitim ve ÖğretimNecmettin Erbakan Üniversitesiİlköğretim Ana Bilim Dalı
YRD. DOÇ. DR. SEMA SULAK
- Comparison of linear and adaptive versions of the Turkish pupil monitoring system (PMS) mathematics assessment
Türkiye öğrenci izleme sistemi (ÖİS) matematik değerlendirmesinin bilgisayar ortamındaki lineer ve bireyselleştirilmiş test versiyonlarının karşılaştırılması
SEMİRHAN GÖKÇE
Doktora
İngilizce
2012
Eğitim ve ÖğretimOrta Doğu Teknik ÜniversitesiOrtaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı
PROF. DR. GİRAY BERBEROĞLU
- Bireyselleştirilmiş bilgisayarlı test uygulamalarında kullanılan madde seçme yöntemlerinin karşılaştırılması
Comparision of item selection methods in computerized adaptive testing
SEMA SULAK
Doktora
Türkçe
2013
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. HÜLYA KELECİOĞLU
- Bireyselleştirilmiş bilgisayarlı test uygulamalarında farklı sonlandırma kurallarının ölçme kesinliği ve test uzunluğu açısından karşılaştırılması
Comparison of different test termination rules in terms of measurement precision and test length in computerized adaptive testing
MELEK GÜLŞAH EROĞLU
Doktora
Türkçe
2013
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. HÜLYA KELECİOĞLU