Hibrit ve geleneksel çok aşamalı testlerin performansının farklı koşullar altında incelenmesi
Performances of hybrid and traditional multi-stage tests under different conditions
- Tez No: 839467
- Danışmanlar: DOÇ. DR. CELAL DEHA DOĞAN, DR. DUANLI YAN
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Ankara Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 214
Özet
Bu çalışmada, çeşitli hibrit çok aşamalı bireyselleştirilmiş test (H-ÇABT) ve geleneksel çok aşamalı bireyselleştirilmiş test (ÇABT) desenlerinin ölçme kesinliği değerlerinin yetenek dağılımı ve test uzunluğu değişkenlerinin farklı düzeylerinde karşılaştırılması amaçlanmıştır. 24, 36 ve 48 test uzunluğunda ve yetenek düzeylerinin sağa çarpık, sola çarpık ve normal dağıldığı durumlarda, aynı aşama sayısına sahip hibrit desenlerin performansları hem kendi aralarında hem de referans olarak belirlenen ÇABT ile karşılaştırılmıştır. Bu doğrultuda 1000 maddelik bir yapay madde havuzu oluşturulmuş ve modüller önceden birleştirilmiştir. H-ÇABT desenlerinin yapılandırılmasında ise amacına uygun olarak testin orta ya da son aşaması madde düzeyinde bireyselleştirilmiş (Bilgisayarlı bireyselleştirilmiş test-BBT) olarak uygulanmıştır. Çalışmanın bulguları, kısa test uzunluğunda BBT'nin testin sonunda uygulandığı test desenlerinin daha yüksek kesinlikte kestirimler sağladığını göstermektedir. Test uzunluğunun artışına bağlı olarak, BBT'nin ölçme kesinliğine olan etkisi azalmıştır. Yetenek dağılımlarının sağa ve sola çarpık olduğu durumlarda durumlarda da hibrit desenlerin geleneksel çok aşamalı bireyselleştirilmiş testlere göre daha avantajlı olduğu bulgusuna ulaşılmıştır. Çalışmada iki, üç ve dört aşamalı desenler incelenmiştir. Üç aşamalı H-ÇABT desenleri BBT'nin uygulandığı aşamanın etkisine daha açıkken, BBT'nin farklı aşamalarda uygulandığı dört aşamalı hibrit desenlerin performanslarının özellikle orta ve uzun testlerde benzerlik gösterdiği gözlenmiştir. Bunu destekler şekilde, aşama sayısının artışına bağlı olarak ölçme kesinliği değerleri ortalamaları arasındaki farkın etki büyüklüğünün azaldığı gözlenmiştir. Desenleri daha etkili değerlendirmek amacıyla, her bir aşama sonunda kestirilen geçici yetenek düzeylerine bağlı hesaplanan ölçme kesinliği değerlerinin değişimi incelenmiştir. Buna göre uygulanan desenden bağımsız olarak hata değerlerindeki en büyük düşüşün ilk iki geçici yetenek kestiriminde elde edildiği ve beklendiği gibi BBT'nin uygulandığı aşamanın ölçme kesinliği değerleri üzerinde olumlu etkiye sahip olduğu bulgusuna ulaşılmıştır. Ancak test uzunluğu ve aşama sayısı arttıkça bu etkinin azalmıştır.
Özet (Çeviri)
In this study, the aim is to compare the measurement precision values of various hybrid multistage adaptive test (H-MST) and traditional computerized multistage adaptive test (MST) designs across different levels of ability distribution and test length variables. At test lengths of 24, 36 and 48 and when ability levels were right-skewed, left-skewed and normally distributed, the performances of hybrid designs with the same number of stages were compared both among themselves and with the MST serving as a reference. For this purpose, an artificial item pool of 1000 items was created, and the modules were pre-assembled. In the configuration of the H-MST designs, the middle or last stage of the test was item-level adaptive (computerized adaptive test-CAT), aligning with the study's purpose. The findings of the study indicate that test designs where item-level adaptation is applied at the end of the test, particularly in short test lengths, yield more precise results. As test length increased, the impact of item-level adaptation on measurement precision diminished. Additionally, hybrid designs demonstrated an advantage over MSTs when ability distributions were skewed to the right and left. The study examined two-, three-, and four-stage designs. It was concluded that three-stage H-MST designs were more sensitive to the stage where CAT was administered. Conversely, four-stage hybrid designs exhibited similar performances to tests where CAT was administered at different stages, especially in medium and long tests. Similarly, it was concluded that the effect size of the difference between the mean values of measurement precision decreased with the increase in the number of stages. To evaluate the designs more effectively, the change in measurement precision values calculated based on provisional ability levels estimated at the end of each stage was analyzed. It was found that the most substantial decrease in error values occurred in the first two provisional ability estimates, irrespective of the design applied. As expected, the stage in which CAT was applied had a positive effect on the measurement precision values. However, it was concluded that this effect diminished as test length and the number of stages increased.
Benzer Tezler
- Prediction of COVID 19 disease using chest X-ray images based on deep learning
Derin öğrenmeye dayalı göğüs röntgen görüntüleri kullanarak COVID 19 hastalığının tahmini
ISMAEL ABDULLAH MOHAMMED AL-RAWE
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ADEM TEKEREK
- The effects of design parameters on the strength of adhesively bonded single lap joints
Tasarım parametrelerinin tek tesirli yapıştırma bağlantılarının dayanımına etkileri
TİMUR SOĞANCI
Yüksek Lisans
İngilizce
2019
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
ÖĞR. GÖR. SÜREYYA ERGÜN BOZDAĞ
- An investigation into polymer-based photovoltaic fiber structures
Polimer esaslı fotovoltaik lif yapılarının araştırılması
İSMAİL BORAZAN
Doktora
İngilizce
2017
Tekstil ve Tekstil Mühendisliğiİstanbul Teknik ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ DEMİR
DOÇ. DR. AYŞE BEDELOĞLU
- Instrument development to evaluate the usability of OTT platforms
OTT platformlarının kullanılabilirliğinin değerlendirilmesi için enstrüman geliştirme
MUHAMMED ÇAĞRI COŞKUN
Yüksek Lisans
İngilizce
2023
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. ÇİĞDEM ALTIN GÜMÜŞSOY
DR. ÖĞR. ÜYESİ AYCAN PEKPAZAR
- Empowering learner autonomy for developing writing skills through ai-enhanced reflective journals
Yapay zekâ destekli yansıtıcı günlükler aracılığıyla yazma becerilerinin geliştirilmesi için öğrenen özerkliğinin güçlendirilmesi
SENA KÖNEZ
Yüksek Lisans
İngilizce
2024
Eğitim ve Öğretimİstanbul Medeniyet ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
PROF. DR. SELAMİ AYDIN