Geri Dön

Madde tepki kuramı kapsamında sınıflama doğruluğu indekslerinin karşılaştırılması

Comparison of classification accuracy indices under the item response theory

  1. Tez No: 751338
  2. Yazar: NURŞAH YAKUT
  3. Danışmanlar: DOÇ. DR. EMİNE ÖNEN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Eğitim ve Öğretim, Education and Training
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: Türkçe
  9. Üniversite: Gazi Üniversitesi
  10. Enstitü: Eğitim Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 151

Özet

Eğitim ortamlarında uygulanan ölçme araçlarından elde edilen ölçümlere dayalı olarak bireyler hakkında tanılama ve yerleştirmeye yönelik kararlar verilmekte ve sınıflama doğruluğu, bu kararların doğruluğuna işaret etmektedir. Eğitsel ölçümlere dayalı bu kararlar özellikle öğrencilerin yaşamlarına yön verici nitelikte olduğundan, bu ölçümler için sınıflama doğruluğunun incelenmesi önem taşımaktadır. Bu araştırmada Madde Tepki Kuramına dayalı yöntemlerden Rudner'ın, Guo'nun ve Lee'nin yöntemleri kullanılarak hesaplanan sınıflama doğruluğu ve tutarlılığı indekslerinin doğruluk derecelerinin- 1PLM, 2PLM ve 3PLM altında- farklı test uzunluğu ve örneklem büyüklükleri açısından karşılaştırmalı olarak incelenmesi amaçlandığından bu çalışma simülasyon çalışması olarak tasarlanmıştır. Simülasyon çalışması yoluyla test uzunluğu ve örneklem büyüklüğü değişimlenerek, hangi koşul(lar) altında hangi yönteme dayalı olarak daha az yanlılıkla bu indekslerin kestirildiğini değerlendirmek mümkün olmaktadır. Bu çalışmada -1PLM, 2PLM ve 3PLM altında- iki farklı test uzunluğu (k=15, k=30) ve örneklem büyüklüğü (n=500, n=1000) koşulları altında R Studio programında 'irtoys' paketi kullanılarak veri setleri üretilmiştir. Sınıflama doğruluğu ve sınıflama tutarlılığı indeksleri ile bunlara ilişkin yanlılık değerleri 'cacIRT' paketi kullanılarak hesaplanmıştır. Sınıflama doğruluğu ve tutarlılığı indekslerine ilişkin değerlerin, madde sayısının artışına bağlı olarak dikkate değer bir farklılık gösterdiği gözlenmiştir. Lee'nin yöntemine dayalı hesaplanan kappa değerleri ile Guo'nun yöntemine dayalı hesaplanan FP ve FN değerlerinin daha yüksek yanlılık değerlerine sahip olduğu gözlenmiştir. Rudner'ın yöntemine dayalı hesaplanan sınıflama doğruluğu ve tutarlılığı indekslerinin ise diğer yöntemlere kıyasla, daha düşük mutlak yanlılık değerlerine sahip olduğu görülmektedir. Rudner'ın yönteminin büyük örneklem gruplarında uygulanmasının sınıflama kararları açısından daha uygun olacağı düşünülmektedir. Araştırma sonucunda, Türkiye'de uygulanan merkezi sınavlarda sınıflama doğruluğu ve sınıflama tutarlılığının incelenmesinde büyük örneklem gruplarında uygulandığında daha iyi performans göstermesi ve diğer yöntemlere kıyasla daha düşük mutlak yanlılık değerlerine sahip olması açısından Rudner'ın yönteminin kullanılması önerilmektedir.

Özet (Çeviri)

Individual diagnostic and placement decisions are made using data from educational measurement instruments, and classification accuracy indicates how accurate these decisions are. It is critical to investigate the classification accuracy for educational measures since decisions based on these measurements have a significant impact on students' lives. This is a simulation study since the aim is to compare the classification accuracy and consistency indices calculated using Rudner's, Guo's, and Lee's item response theory-based approaches under 1PLM, 2PLM, and 3PLM in terms of different test lengths and sample sizes. It is possible to examine under which condition(s) and which method these indices are calculated with less bias by changing the test length and sample size through the simulation study. Under the conditions of two different test lengths (k=15, k=30) and sample sizes (n=500, n=1000) under 1PLM, 2PLM, and 3PLM, data sets were generated using the 'irtoys' package in R Studio. Classification accuracy and consistency indices and related bias values were calculated using the 'cacIRT' package. As the number of items increased, the classification accuracy and consistency indices showed a significant difference. For Kappa values calculated using Lee's approach and FP and FN values calculated using Guo's method, higher bias values were observed. It can be seen that Rudner's method-based classification accuracy and consistency indices have lower absolute bias values than other methods. In terms of classification decisions, it is considered that Rudner's method would work better when applied to large sample sizes. Since Rudner's method performs better when applied to large sample groups and has lower absolute bias values than other methods, it is recommended to use it for examining the classification accuracy and consistency in the national exams used in Turkey.

Benzer Tezler

  1. Bilişsel tanı ve çok boyutlu madde tepki kuramı modellerinin karşılıklı uyumlarının incelenmesi

    Retrofitting of cognitive diagnosis and multidimensional item response theory models

    LEVENT YAKAR

    Doktora

    Türkçe

    Türkçe

    2017

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. NURİ DOĞAN

  2. Öğrenci başarılarının belirlenmesi sınavından (ÖBBS) klasik test kuramı, tek boyutlu ve çok boyutlu madde tepki kuramı modelleri ile kestirilen başarı puanlarının karşılaştırılması

    Comparison of estimated achivement scores obtained from student achievement assessment test utilizing classical test theory, unidimensional and multidimensional item response theory models

    YEŞİM ÖZER

    Doktora

    Türkçe

    Türkçe

    2012

    Eğitim ve ÖğretimAnkara Üniversitesi

    Ölçme ve Değerlendirme Ana Bilim Dalı

    PROF. DR. EZEL TAVŞANCIL

  3. Dikey ölçeklemede madde tepki kuramına dayalı farklı kalibrasyon ve yetenek kestirim yöntemlerinin karşılaştırılması

    A comparison of different calibration methods and proficiency estimators based on item response theory in vertical scaling

    AYŞEGÜL ALTUN

    Doktora

    Türkçe

    Türkçe

    2013

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Bölümü

    DOÇ. DR. HÜLYA KELECİOĞLU

  4. Parametrik ve parametrik olmayan madde tepki kuramı modellerinden çeşitli faktörlere göre elde edilen madde ve yetenek kestirimlerinin karşılaştırılması

    The comparison of item and ability estimations calculated from the parametric and non-parametric item response theory according to the several factors

    EZGİ MOR DİRLİK

    Doktora

    Türkçe

    Türkçe

    2017

    Eğitim ve ÖğretimAnkara Üniversitesi

    Ölçme ve Değerlendirme Ana Bilim Dalı

    PROF. DR. NİZAMETTİN KOÇ

  5. Bayesci madde tepki kuramı modellerinde ölçme değişmezliğinin incelenmesi

    Examining measurement invariance in Bayesian item response theory models

    MERVE AYVALLI KARAGÖZ

    Doktora

    Türkçe

    Türkçe

    2023

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Eğitim Bilimleri Ana Bilim Dalı

    PROF. DR. HÜLYA KELECİOĞLU