Geri Dön

Bilgisayarda bireyselleştirilmiş test uygulamalarında kapsam dengelemenin ölçme kesinliğine etkisi

Effects of content balancing on measurement precision in computerized adaptive tests

  1. Tez No: 913729
  2. Yazar: İLKAY ÜÇGÜL ÖCAL
  3. Danışmanlar: PROF. DR. NURİ DOĞAN
  4. Tez Türü: Doktora
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: Türkçe
  9. Üniversite: Hacettepe Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
  12. Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
  13. Sayfa Sayısı: 122

Özet

Bu araştırmada, bireyselleştirilmiş bilgisayarlı test (BBT) uygulamasında kapsam dengeleme yapılmasının ölçme kesinliği kestirim değerlerini; farklı örneklem büyüklüklerine, yetenek kestirim yöntemlerine, madde seçim yöntemlerine ve sonlandırma kurallarına göre nasıl etkilediğinin incelenmesi amaçlanmıştır. Bu amaçla, simülatif olarak 250 ve 500 kişilik iki farklı gruba ait yetenek parametreleri ile üç parametreli lojistik (3PL) madde tepki modeli kullanılarak iki kategorili puanlanan beş farklı içerik alanı, eşit oranlarda ağırlıklandırılarak 750 maddelik madde havuzu oluşturulmuştur. Kapsam dengelemenin yapıldığı ve yapılmadığı her iki durum için; 250 ve 500 kişilik örneklemde, farklı yetenek kestirim yöntemleri, madde seçim yöntemleri ve test sonlandırma kuralları kullanılarak oluşturulan koşullar altında BBT uygulamaları gerçekleştirilmiştir. Çalışma kapsamında oluşturulan 80 koşula ait BBT uygulaması, her bir koşul için 50 replikasyon olacak şekilde R programlama dilinde yer alan“catR”paketi kullanılarak karşılaştırılmıştır. Yapılan simülasyonlar sonucunda her bir koşul için ölçme kesinliğine ait RMSE, yanlılık ve korelasyon değerleri hesaplanmıştır. Çalışmadan elde edilen sonuçlar kapsam dengelemenin genel olarak ortalama hata ve yanlılık değerlerinde hafif artışlara neden olduğunu göstermiştir. Bu küçük artışların yanı sıra kapsam dengeleme yapılan ve yapılmayan farklı test koşullarında tahmin edilen ve gerçek yetenek düzeyleri arasında yüksek korelasyon elde edilmiştir. Ayrıca RMSE, yanlılık ve korelasyon değerleri bakımından, çalışmaya dahil edilen yetenek kestirim yöntemleri arasında ise Beklenen Sonsal Dağılım yönteminin daha etkili olduğu görülmüştür. Araştırmada, kapsam dengelemenin, belirli bir doğruluk eşiğine ulaşmak için, özellikle standart hatanın belirli bir eşik değerin altına düştüğü sıkı sonlandırma kuralları altında, gereken madde sayısını yaklaşık 1 madde kadar artırdığı bulunmuştur.

Özet (Çeviri)

In this study, the aim is to examine how applying content balancing in computerized adaptive testing (CAT) affects measurement accuracy estimation values based on different sample sizes, ability estimation methods, item selection methods, and stopping rules. For this purpose, a 750-item pool was created using ability parameters for two different simulated groups of 250 and 500 individuals. This pool, weighted equally across five different content areas scored in two categories, was generated using the three-parameter logistic (3PL) item response model. CAT applications were conducted under conditions where content balancing was and was not applied for both 250- and 500-person samples, using different ability estimation methods, item selection methods, and test stopping rules. The CAT applications for the 80 conditions created in the study were compared using the“catR”package in the R programming language, with 50 replications for each condition. The simulations calculated RMSE, bias, and correlation values for measurement accuracy in each condition. Results indicated that, in general, content balancing led to slight increases in average error and bias values. Despite these small increases, a high correlation was observed between the estimated and actual ability levels across different test conditions with and without content balancing. Additionally, among the ability estimation methods included in the study, Expected a Posteriori method proved to be more effective in terms of RMSE, bias, and correlation values. The research also found that content balancing increased the required number of items by about one item to reach a specific accuracy threshold, especially under strict stopping rules where the standard error falls below a set threshold value.

Benzer Tezler

  1. Bilgisayarda bireyselleştirilmiş test uygulamalarında maddeyi yeniden cevaplayabilmenin ölçme hatasına ve yanlılığına etkisinin incelenmesi

    The effect of item review in computerized adaptive testing on measurement error and bias

    ÖMER FARUK ŞEN

    Doktora

    Türkçe

    Türkçe

    2022

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. HÜLYA KELECİOĞLU

  2. Bireye uyarlanmış bilgisayarlı test ortamında maksimum fisher madde seçme yönteminin incelenmesi

    Investigation of maximum fisher item selection method on computerized adaptive testing

    MEVRA KAÇAR

    Yüksek Lisans

    Türkçe

    Türkçe

    2016

    Eğitim ve ÖğretimNecmettin Erbakan Üniversitesi

    İlköğretim Ana Bilim Dalı

    YRD. DOÇ. DR. SEMA SULAK

  3. Comparison of linear and adaptive versions of the Turkish pupil monitoring system (PMS) mathematics assessment

    Türkiye öğrenci izleme sistemi (ÖİS) matematik değerlendirmesinin bilgisayar ortamındaki lineer ve bireyselleştirilmiş test versiyonlarının karşılaştırılması

    SEMİRHAN GÖKÇE

    Doktora

    İngilizce

    İngilizce

    2012

    Eğitim ve ÖğretimOrta Doğu Teknik Üniversitesi

    Ortaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı

    PROF. DR. GİRAY BERBEROĞLU

  4. Bireyselleştirilmiş bilgisayarlı test uygulamalarında kullanılan madde seçme yöntemlerinin karşılaştırılması

    Comparision of item selection methods in computerized adaptive testing

    SEMA SULAK

    Doktora

    Türkçe

    Türkçe

    2013

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    DOÇ. DR. HÜLYA KELECİOĞLU

  5. Bireyselleştirilmiş bilgisayarlı test uygulamalarında farklı sonlandırma kurallarının ölçme kesinliği ve test uzunluğu açısından karşılaştırılması

    Comparison of different test termination rules in terms of measurement precision and test length in computerized adaptive testing

    MELEK GÜLŞAH EROĞLU

    Doktora

    Türkçe

    Türkçe

    2013

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. HÜLYA KELECİOĞLU