The effect of item selection and parameter estimation methods to the accuracy of pretest item parameters on online calibration in CAT
Madde seçim ve parametre kestirim yöntemlerinin BBT online kalibrasyonda ön test madde parametre kesinliğine etkisi
- Tez No: 632683
- Danışmanlar: DOÇ. DR. BURCU ATAR
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: madde tepki kuramı, bireyselleştirilmiş bilgisayarlı test, online kalibrasyon, öntest maddesi, parametre kestirim yöntemi, öntest madde seçim yöntemi, item response theory, computerized adaptive testing, online calibration, pretest item, field-test item, item parameter estimation, pretest item selection method
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: 135
Özet
Bireyselleştirilmiş Bilgisayarlı Testler (BBT)'de maddelerin teşhir olmasından kaynaklı olarak madde havuzunun kalitesinin düşme riski vardır. Bunun için en iyi ve en avantajlı çözüm, online kalibrasyon prosedürünün uygulanmasıdır. Bu çalışmanın amacı online kalibrasyon bileşenlerinin parametre kesinliğine ve madde seçim yöntemi özelinde kümülatif örneklem büyüklüğüne etkisini incelemektir. Ayrıca çalışmanın diğer bir amacı da Ortak Maksimum Olabilirlik yönteminin parametre kestirim yöntemi olarak online kalibrasyon prosedürüne uygulamak ve uygunluğunun değerlendirilmesidir. Bir Parametreli Lojistik (1-PL) model ve İki Parametreli Lojistik (2-PL) model altında öntest madde seçim yöntemlerini (Maksimum Fisher Yöntemi, D-optimal Değer Deseni, Bayesyen D-optimal Deseni), parametre kestirim yöntemlerini (Ortak Maksimum Olabilirlik ve Marjinal Maksimum Olabilirlik ile Tek Beklenti Maksimizasyon Döngüsü), seçkisiz kalibrasyon aşaması örneklem büyüklüklerini (250, 500 ve 1000) ve her öntest maddesi için örneklem büyüklüklerini (250, 500 ve 1000) karşılaştırmak amacıyla simülasyon çalışması yapılmıştır. Bu faktörlerin parametre doğruluğu üzerindeki performansları yanlılık ve Hata Kareleri Ortalamalasının Karekökü (HKOK) hesaplanarak değerlendirilmiştir. Sonuçlar madde seçim yöntemlerinin performanslarının Madde Tepki Kuramı (MTK) modellerine ve parametre kestirim yöntemlerine göre farklılaştığını göstermektedir. Kalibrasyon yöntemleri arasında Ortak Maksimum Olabilirlik yöntemi bazı koşullarda daha iyi performans göstermesine rağmen Tek Beklenti Maksimizasyon Döngüsü madde parametrelerini en doğru şekilde başarıyla kestirmiştir. Seçkisiz aşama örneklem büyüklüğünün parametre kesinliği üzerinde karakteristik bir etkiye sahip olmaması elde edilen diğer bir sonuçtur. Son olarak parametre kesinliği kalibrasyon örneklem büyüklüğünün artmasıyla yükselmiştir.
Özet (Çeviri)
Computerized adaptive test (CAT) has a possible risk that the quality of the item bank decreases over time due to the exposed items. The best possible and advantageous solution to this is to implement the online calibration. This study was aimed to investigate the effect of online calibration components on precision in parameter estimation and the cumulative sample size (specified to the calibration method). It was also aimed to transfer Joint Maximum Likelihood as a pretest calibration method to the online calibration procedure and assess this method's feasibility. The simulation study was conducted under one-parameter logistic (1-PL) and two-parameter logistic (2-PL) model to compare the pretest item selection methods (Maximum Fisher Information-MFI, D-optimal value design-DVOD, and Bayesian D-optimal design-BDOD), the parameter estimation methods (Joint Maximum Likelihood-JML and Marginal Maximum Likelihood with One EM Cycle-OEM), the sample size of the random calibration stage (250, 500, and 1000) and the calibration sample size of per pretest item (250, 500, and 1000). The performance of these factors on the parameter precision was evaluated by calculating bias and root mean squared error (RMSE). The results indicate that the performances of item selection methods differ according to Item Response Theory (IRT) models and the parameter estimation methods. Among the calibration methods, OEM has successfully estimated the most precise item parameters although JML performed better in some conditions. The sample size of the random stage did not have a characteristic effect on parameter estimation. Lastly, the parameter accuracy gets higher as the calibration sample size increases.
Benzer Tezler
- Madde düzeyinde boyutluluk modellerinin bilgisayar ortamında bireyselleştirilmiş test yöntemleri üzerindeki etkisinin incelenmesi
Examining the effects of item level dimensionality models on multidimensional computerized adaptive testing methods
BURHANETTİN ÖZDEMİR
Doktora
Türkçe
2015
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. SELAHATTİN GELBAL
- Bilgisayarda bireyselleştirilmiş test uygulamalarında kapsam dengelemenin ölçme kesinliğine etkisi
Effects of content balancing on measurement precision in computerized adaptive tests
İLKAY ÜÇGÜL ÖCAL
Doktora
Türkçe
2024
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. NURİ DOĞAN
- Toplam kalite anlayışı içinde istatistiksel proses kontrolün rolü ve kalite geliştirme amaçlı uygulanması
Başlık çevirisi yok
AHMET GÖKÇE
Yüksek Lisans
Türkçe
1998
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. COŞKUN ÖZKAN
- Çok boyutlu test deseninin ve kalibrasyon yöntemlerinin çok boyutlu bireyselleştirilmiş bilgisayar uygulamalarına etkisi
The effect of multidimensional test design structure and calibration strategies in multidimensional computer adaptive testing
EREN HALİL ÖZBERK
Doktora
Türkçe
2016
Eğitim ve ÖğretimHacettepe ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. SELAHATTİN GELBAL
- Bireye uyarlanmış bilgisayarlı test ortamında maksimum fisher madde seçme yönteminin incelenmesi
Investigation of maximum fisher item selection method on computerized adaptive testing
MEVRA KAÇAR
Yüksek Lisans
Türkçe
2016
Eğitim ve ÖğretimNecmettin Erbakan Üniversitesiİlköğretim Ana Bilim Dalı
YRD. DOÇ. DR. SEMA SULAK