Geri Dön

The effect of item selection and parameter estimation methods to the accuracy of pretest item parameters on online calibration in CAT

Madde seçim ve parametre kestirim yöntemlerinin BBT online kalibrasyonda ön test madde parametre kesinliğine etkisi

  1. Tez No: 632683
  2. Yazar: LEVENT ERTUNA
  3. Danışmanlar: DOÇ. DR. BURCU ATAR
  4. Tez Türü: Doktora
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: madde tepki kuramı, bireyselleştirilmiş bilgisayarlı test, online kalibrasyon, öntest maddesi, parametre kestirim yöntemi, öntest madde seçim yöntemi, item response theory, computerized adaptive testing, online calibration, pretest item, field-test item, item parameter estimation, pretest item selection method
  7. Yıl: 2020
  8. Dil: İngilizce
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 135

Özet

Bireyselleştirilmiş Bilgisayarlı Testler (BBT)'de maddelerin teşhir olmasından kaynaklı olarak madde havuzunun kalitesinin düşme riski vardır. Bunun için en iyi ve en avantajlı çözüm, online kalibrasyon prosedürünün uygulanmasıdır. Bu çalışmanın amacı online kalibrasyon bileşenlerinin parametre kesinliğine ve madde seçim yöntemi özelinde kümülatif örneklem büyüklüğüne etkisini incelemektir. Ayrıca çalışmanın diğer bir amacı da Ortak Maksimum Olabilirlik yönteminin parametre kestirim yöntemi olarak online kalibrasyon prosedürüne uygulamak ve uygunluğunun değerlendirilmesidir. Bir Parametreli Lojistik (1-PL) model ve İki Parametreli Lojistik (2-PL) model altında öntest madde seçim yöntemlerini (Maksimum Fisher Yöntemi, D-optimal Değer Deseni, Bayesyen D-optimal Deseni), parametre kestirim yöntemlerini (Ortak Maksimum Olabilirlik ve Marjinal Maksimum Olabilirlik ile Tek Beklenti Maksimizasyon Döngüsü), seçkisiz kalibrasyon aşaması örneklem büyüklüklerini (250, 500 ve 1000) ve her öntest maddesi için örneklem büyüklüklerini (250, 500 ve 1000) karşılaştırmak amacıyla simülasyon çalışması yapılmıştır. Bu faktörlerin parametre doğruluğu üzerindeki performansları yanlılık ve Hata Kareleri Ortalamalasının Karekökü (HKOK) hesaplanarak değerlendirilmiştir. Sonuçlar madde seçim yöntemlerinin performanslarının Madde Tepki Kuramı (MTK) modellerine ve parametre kestirim yöntemlerine göre farklılaştığını göstermektedir. Kalibrasyon yöntemleri arasında Ortak Maksimum Olabilirlik yöntemi bazı koşullarda daha iyi performans göstermesine rağmen Tek Beklenti Maksimizasyon Döngüsü madde parametrelerini en doğru şekilde başarıyla kestirmiştir. Seçkisiz aşama örneklem büyüklüğünün parametre kesinliği üzerinde karakteristik bir etkiye sahip olmaması elde edilen diğer bir sonuçtur. Son olarak parametre kesinliği kalibrasyon örneklem büyüklüğünün artmasıyla yükselmiştir.

Özet (Çeviri)

Computerized adaptive test (CAT) has a possible risk that the quality of the item bank decreases over time due to the exposed items. The best possible and advantageous solution to this is to implement the online calibration. This study was aimed to investigate the effect of online calibration components on precision in parameter estimation and the cumulative sample size (specified to the calibration method). It was also aimed to transfer Joint Maximum Likelihood as a pretest calibration method to the online calibration procedure and assess this method's feasibility. The simulation study was conducted under one-parameter logistic (1-PL) and two-parameter logistic (2-PL) model to compare the pretest item selection methods (Maximum Fisher Information-MFI, D-optimal value design-DVOD, and Bayesian D-optimal design-BDOD), the parameter estimation methods (Joint Maximum Likelihood-JML and Marginal Maximum Likelihood with One EM Cycle-OEM), the sample size of the random calibration stage (250, 500, and 1000) and the calibration sample size of per pretest item (250, 500, and 1000). The performance of these factors on the parameter precision was evaluated by calculating bias and root mean squared error (RMSE). The results indicate that the performances of item selection methods differ according to Item Response Theory (IRT) models and the parameter estimation methods. Among the calibration methods, OEM has successfully estimated the most precise item parameters although JML performed better in some conditions. The sample size of the random stage did not have a characteristic effect on parameter estimation. Lastly, the parameter accuracy gets higher as the calibration sample size increases.

Benzer Tezler

  1. Madde düzeyinde boyutluluk modellerinin bilgisayar ortamında bireyselleştirilmiş test yöntemleri üzerindeki etkisinin incelenmesi

    Examining the effects of item level dimensionality models on multidimensional computerized adaptive testing methods

    BURHANETTİN ÖZDEMİR

    Doktora

    Türkçe

    Türkçe

    2015

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. SELAHATTİN GELBAL

  2. Bilgisayarda bireyselleştirilmiş test uygulamalarında kapsam dengelemenin ölçme kesinliğine etkisi

    Effects of content balancing on measurement precision in computerized adaptive tests

    İLKAY ÜÇGÜL ÖCAL

    Doktora

    Türkçe

    Türkçe

    2024

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. NURİ DOĞAN

  3. Toplam kalite anlayışı içinde istatistiksel proses kontrolün rolü ve kalite geliştirme amaçlı uygulanması

    Başlık çevirisi yok

    AHMET GÖKÇE

    Yüksek Lisans

    Türkçe

    Türkçe

    1998

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DOÇ. DR. COŞKUN ÖZKAN

  4. Çok boyutlu test deseninin ve kalibrasyon yöntemlerinin çok boyutlu bireyselleştirilmiş bilgisayar uygulamalarına etkisi

    The effect of multidimensional test design structure and calibration strategies in multidimensional computer adaptive testing

    EREN HALİL ÖZBERK

    Doktora

    Türkçe

    Türkçe

    2016

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. SELAHATTİN GELBAL

  5. Bireye uyarlanmış bilgisayarlı test ortamında maksimum fisher madde seçme yönteminin incelenmesi

    Investigation of maximum fisher item selection method on computerized adaptive testing

    MEVRA KAÇAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2016

    Eğitim ve ÖğretimNecmettin Erbakan Üniversitesi

    İlköğretim Ana Bilim Dalı

    YRD. DOÇ. DR. SEMA SULAK